CN113127272A - 屏幕检测方法和屏幕检测的电子设备 - Google Patents

Abstract

本申请涉及人工智能领域，具体公开了一种屏幕检测方法和屏幕检测的电子设备，在该方法中，电子设备通过获取电子设备的屏幕的当前屏幕信息，并将该当前屏幕信息用于采用基于机器学习(Machine Learning，ML)的屏幕检测模型，来获得电子设备的当前屏幕状态。在本申请中，通过结合人工智能((Artificial Intelligence，AI)技术，可以在用户设备上为用户提供屏幕检测的服务，而无需依赖第三方设备。此外，本申请还解决了用户自己无法确认屏幕是否损坏的问题，还进一步为用户提供关怀服务，为用户降低了后续维修的不便。本申请还可以为服务商和制造商提供屏幕损坏的相应数据，使得进一步优化屏幕质量成为可能。

Description

屏幕检测方法和屏幕检测的电子设备

技术领域

本申请的一个或多个实施例通常涉及电子设备的屏幕检测领域，具体涉及一种触控屏的检测方法和触控屏检测的电子设备。

背景技术

人工智能(Artificial Intelligence,简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

机器学习(Machine Learning,简称ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。其可以通过将技术问题抽象为数学问题，并选择合理的训练模型和特征对训练数据进行训练，然后输入测试数据便可以得到相应的结果。

目前投射电容式触控(Projected Capacity Touch，PCT)屏幕，简称电容式触屏已经具备了成熟的技术、广泛的市场，实现了产业的规模化。在手机、平板等终端设备上，电容式触屏已经占据绝对的主导地位。

电容式触屏主要分为自容式、互容式。其中，自容式最多支持两点触控、成本低；互容式触屏可多点触控、抗环境干扰性能好、成本高。触摸式终端设备基本都是采用互容式屏幕。

现有技术中，针对电容式触屏的损坏检测主要通过两种方案，一种方案通过第三方拍照设备拍摄被测设备，通过算法判断屏幕是否损坏；另一种方案通过盖板与内屏之间增加一层专门用于检测屏幕损坏的检测电路来检测屏幕的损坏。上述检测方案都必须通过专用服务商的专业设备实施，用户获取这些专业服务的时间成本和经济成本可能相对较高。因此，对于用户，目前并没有可用的方便快捷并且成本低廉的屏幕损坏检测方案。

发明内容

本申请的一些实施方式提供了一种触控屏检测方法和具有触控屏检测功能的设备。以下从多个方面介绍本申请，以下多个方面的实施方式和有益效果可互相参考。

电子产品的显示屏，尤其是诸如智能收集的手持设备的显示屏是众所周知的易损部件，目前现有技术通过强化显示屏外屏的强度来保护具有精密电子元件的内屏，由此来提高显示屏的整体寿命。但是在手持设备发生磕碰、掉落、浸液等问题后，对于用户来说，显示屏外屏的损坏很容易判断，但是内屏是否发生潜在的损坏，对用户而言是比较难判断的。例如，手机碰撞、浸液或掉落后，不论手机的外屏是否破损，除非显示屏的内屏的显示出现明显缺陷，用户很难判断发生的意外是否对内屏造成了肉眼不可查的损坏，而这些损坏是必须通过专业设备和专业检测才可以确定。而用户获取这些专业服务的时间成本和经济成本可能相对较高。

上述问题很可能为用户带来不便。例如，在手机外屏破损的情况下，通常，更换屏幕可以有两种选择，一种是仅更换手机外屏，另一种是更换整个显示屏部件，而后一种选择的经济成本是前者的数倍。因此，在内屏没有明显问题的情况下，大部分用户会选择经济地更换外屏，但是，用户在做这种选择时，可能并不了解显示屏的内屏是否已发生肉眼不可查的损坏。那么，如果内屏发生了肉眼不可查的损坏，即便用户更换了显示屏的外屏，也无法解决内屏可能在一段时间的使用后发生故障，如果这种情况发生，用户还需要更换整个显示屏，这样，不仅用户的花费大大增加，而且用户对产品使用感受也受到负面影响。

为了应对上述场景，第一方面，本申请的实施方式提供了一种用于检测屏幕的方法，电子设备可以获取电子设备的屏幕的当前的屏幕信息，之后，电子设备基于当前屏幕信息，利用检测模型可以确定屏幕的当前屏幕状态，该当前屏幕状态可以指示屏幕当前是否处于正常状态或异常状态。电子设备的当前屏幕信息包括当前获取的屏幕的电气元件的信息，电子设备的检测模型可以包括机器学习模型，该机器学习模型至少部分地基于屏幕的历史屏幕信息和屏幕的历史屏幕状态进行工作，其中历史屏幕信息可以包括屏幕的历史使用情况和在出现该历史使用情况下获取的屏幕的电气元件的信息，此外历史屏幕状态可以至少部分地指示在出现该历史使用情况下屏幕是否处于正常状态或异常状态。

从上述第一方面的实施方式中可以看出，本申请的实施方式可以通过结合人工智能技术，可以在用户的终端设备上为用户提供屏幕检测的服务，而无需依赖第三方设备，并且还解决了用户自己无法确认屏幕是否损坏的问题。

结合第一方面，在一些实施方式中，电气元件可以包括屏幕的电容，例如，互电容，并且上述电气元件的信息可以包括电容的电容值和电容的位置中的至少一个。当电子设备的屏幕损坏时，屏幕的互电容的电容大小变化将与正常的触控行为所导致的互电容的电容大小变化有所不同。

结合第一方面，在一些实施方式中，当前屏幕信息还包括屏幕的当前使用情况的信息，当前使用情况可以包括屏幕使用中的多种场景，例如，正常使用、高温、浸液、碎屏、跌落、碰撞、挤压、弯曲、变形等，那么当前使用情况的信息可以至少部分地指示电子设备是否受到高温、浸液、和碰撞中至少一个。

结合第一方面，在一些实施方式中，可以理解，屏幕的异常状态是除了屏幕正常使用的状态之外的状态，该异常状态可以包括屏幕的当前使用情况或者历史使用情况的与高温相关的异常状态、与浸液相关的异常状态、与碎裂相关的异常状态、和与碰撞相关的异常状态中的至少一个。

结合第一方面，在一些实施方式中，方法还可以包括根据屏幕的历史屏幕信息和历史屏幕状态，训练第一方面中的检测模型。在一些情况下，该检测模型至少部分地基于关联规则，那么针对基于关联规则的检测模型的训练可以包括：计算与历史屏幕信息和历史屏幕状态相关的支持度和置信度；根据计算得到的支持度和置信度，得出历史屏幕信息与历史屏幕状态的关联规则。

结合第一方面，在另一些情况下，检测模型还可以至少部分地基于变分自动编码器(VAE)。

结合第一方面，在一些实施方式中，方法还包括：电子设备可以呈现内容，要呈现的内容可以包括当前屏幕状态和与当前屏幕状态相关联的服务信息，例如，在当前屏幕状态为正常状态的情况下，与正常状态关联的服务信息可以包括以下中的一个或多个：提示用户防范屏幕出现异常状态的信息，和屏幕的维护服务的信息；例如，在当前屏幕状态为异常状态的情况下，与异常状态关联的服务信息可以包括屏幕的维修或者销售的信息。

从上述与第一方面相结合的实施方式中可以看出，本申请的实施方式还具有以下优点，例如，可以进一步为用户提供关怀服务，为用户降低了后续维修的不便。

结合第一方面，在一些实施方式中，在当前屏幕状态为异常状态的情况下，已确定的需要呈现给用户的内容还可以包括询问用户是否同意收集当前屏幕信息。

从上述与第一方面相结合的实施方式中可以看出，本申请的实施方式还可以为服务商和制造商提供屏幕损坏的相应数据，使得进一步优化屏幕质量成为可能。

结合第一方面，在一些实施方式中，方法还可以包括在用户同意收集当前屏幕信息的情况下，电子设备可以利用当前屏幕信息进一步训练检测模型。这样使得检测模型能够通过新的数据进行持续地训练，进而优化检测模型。

结合第一方面，在一些实施方式中，电子设备获取当前屏幕信息还可以包括：在屏幕受到高温、浸液和碰撞中的至少一个的情况下获取当前屏幕信息。

结合第一方面，在一些实施方式中，电子设备获取当前屏幕信息还可以包括：在接收到来自电子设备的用户的指令的情况下获取当前屏幕信息。

第二方面，本申请的实施方式提供了一种电子设备，该电子设备可以包括：显示屏；处理器；存储器，存储器存储用于由处理器执行的一个或多个指令，指令用于检测屏幕，指令包括：获取电子设备的当前屏幕信息，之后基于该当前屏幕信息，可以利用检测模型确定显示屏的当前屏幕状态，该当前屏幕状态可以指示显示屏当前是否处于正常状态或异常状态。电子设备的当前屏幕信息包括当前获取的显示屏的电气元件的信息，电子设备的检测模型可以包括机器学习模型，该机器学习模型至少部分地基于显示屏的历史屏幕信息和显示屏的历史屏幕状态进行工作，其中历史屏幕信息可以包括显示屏的历史使用情况和在出现该历史使用情况下获取的显示屏的电气元件的信息，此外历史屏幕状态可以至少部分地指示在出现该历史使用情况下显示屏是否处于正常状态或异常状态。

从上述第二方面的实施方式中可以看出，本申请的实施方式可以通过结合人工智能技术，可以在用户的终端设备上为用户提供屏幕检测的服务，而无需依赖第三方设备，并且还解决了用户自己无法确认屏幕是否损坏的问题。

结合第二方面，在一些实施方式中，电气元件可以包括显示屏的电容，例如，互电容，并且上述电气元件的信息可以包括电容的电容值和电容的位置中的至少一个。当电子设备的显示屏损坏时，互电容的电容大小变化将与正常的触控行为所导致的互电容的电容大小变化不同。

结合第二方面，在一些实施方式中，当前屏幕信息还包括显示屏的当前使用情况的信息，当前使用情况可以包括显示屏使用中的多种场景，例如，正常使用、高温、浸液、碎屏、跌落、碰撞、挤压、弯曲、变形等，那么当前使用情况的信息可以至少部分地指示电子设备是否受到高温、浸液、和碰撞中至少一个。

结合第二方面，在一些实施方式中，可以理解，显示屏的异常状态是除了显示屏正常使用的状态之外的状态，该异常状态可以包括显示屏的当前使用情况或者历史使用情况的与高温相关的异常状态、与浸液相关的异常状态、与碎裂相关的异常状态、和与碰撞相关的异常状态中的至少一个。

结合第二方面，在一些实施方式中，指令还可以包括根据显示屏的历史屏幕信息和历史屏幕状态，训练第一方面中的检测模型。在一些情况下，该检测模型至少部分地基于关联规则，那么针对基于关联规则的检测模型的训练可以包括：计算与历史屏幕信息和历史屏幕状态相关的支持度和置信度；根据计算得到的支持度和置信度，得出历史屏幕信息与历史屏幕状态的关联规则。

结合第二方面，在另一些情况下，检测模型还可以至少部分地基于变分自动编码器(VAE)。

结合第二方面，在一些实施方式中，指令还包括：可以在显示屏呈现内容，要呈现的内容可以包括当前屏幕状态和与当前屏幕状态相关联的服务信息，例如，在当前屏幕状态为正常状态的情况下，与正常状态关联的服务信息可以包括以下中的一个或多个：提示用户防范显示屏出现异常状态的信息，和显示屏的维护服务的信息；例如，在当前屏幕状态为异常状态的情况下，与异常状态关联的服务信息可以包括显示屏的维修或者销售的信息。

从上述与第二方面相结合的实施方式中可以看出，本申请的实施方式还具有以下优点，例如，可以进一步为用户提供关怀服务，为用户降低了后续维修的不便。

结合第二方面，在一些实施方式中，指令还包括在当前屏幕状态为异常状态的情况下，已确定的需要呈现给用户的内容还可以包括询问用户是否同意收集当前屏幕信息。

从上述与第二方面相结合的实施方式中可以看出，本申请的实施方式还可以为服务商和制造商提供显示屏损坏的相应数据，使得进一步优化显示屏质量成为可能。

结合第二方面，在一些实施方式中，指令还可以包括在用户同意收集当前屏幕信息的情况下，可以利用当前屏幕信息进一步训练检测模型。使得检测模型能够通过新的数据进行持续地训练，进而优化检测模型。

结合第二方面，在一些实施方式中，指令中获取当前屏幕信息还可以包括：在显示屏受到高温、浸液和碰撞中的至少一个的情况下获取当前屏幕信息。

结合第二方面，在一些实施方式中，指令中获取当前屏幕信息还可以包括：在接收到来自电子设备的用户的指令的情况下获取当前屏幕信息。

第三方面，本申请提供了一种用于检测屏幕的装置，装置包括：信息采集模块，用于电子设备获取当前屏幕信息，其中当前屏幕信息包括当前获取的电子设备的屏幕的电气元件的信息；屏幕状态检测模块，用于电子设备基于当前屏幕信息，利用检测模型确定屏幕的当前屏幕状态，其中当前屏幕状态至少部分地指示屏幕当前处于正常状态或异常状态；其中，检测模型包括，至少部分地基于屏幕的历史屏幕信息和屏幕的历史屏幕状态的机器学习模型，其中历史屏幕信息包括屏幕的历史使用情况和在出现历史使用情况下获取的屏幕的电气元件的信息，并且历史屏幕状态至少部分地指示在出现历史使用情况下屏幕处于正常状态或异常状态。

结合第三方面，在一些实施方式中，电气元件可以包括屏幕的电容，例如，互电容，并且上述电气元件的信息可以包括电容的电容值和电容的位置中的至少一个。当电子设备的屏幕损坏时，互电容的电容大小变化将与正常的触控行为所导致的互电容的电容大小变化不同。

结合第三方面，在一些实施方式中，当前屏幕信息还包括屏幕的当前使用情况的信息，当前使用情况可以包括屏幕使用中的多种场景，例如，正常使用、高温、浸液、碎屏、跌落、碰撞、挤压、弯曲、变形等，那么当前使用情况的信息可以至少部分地指示电子设备是否受到高温、浸液、和碰撞中至少一个。

结合第三方面，在一些实施方式中，可以理解，屏幕的异常状态是除了屏幕正常使用的状态之外的状态，该异常状态可以包括屏幕的当前使用情况或者历史使用情况的与高温相关的异常状态、与浸液相关的异常状态、与碎裂相关的异常状态、和与碰撞相关的异常状态中的至少一个。

结合第三方面，在一些实施方式中，屏幕状态检测模块还用于根据屏幕的历史屏幕信息和历史屏幕状态，训练第一方面中的检测模型。在一些情况下，该检测模型至少部分地基于关联规则，那么针对基于关联规则的检测模型的训练可以包括：计算与历史屏幕信息和历史屏幕状态相关的支持度和置信度；根据计算得到的支持度和置信度，得出历史屏幕信息与历史屏幕状态的关联规则。

结合第三方面，在另一些情况下，检测模型还可以至少部分地基于变分自动编码器(VAE)。

结合第三方面，在一些实施方式中，装置还可以包括内容呈现模块，该模块可以用于向用户呈现内容，要呈现的内容可以包括当前屏幕状态和与当前屏幕状态相关联的服务信息，例如，在当前屏幕状态为正常状态的情况下，与正常状态关联的服务信息可以包括以下中的一个或多个：提示用户防范屏幕出现异常状态的信息，和屏幕的维护服务的信息；例如，在当前屏幕状态为异常状态的情况下，与异常状态关联的服务信息可以包括屏幕的维修或者销售的信息。

从上述与第三方面相结合的实施方式中可以看出，本申请的实施方式还具有以下优点，例如，可以进一步为用户提供关怀服务，为用户降低了后续维修的不便。

结合第三方面，在一些实施方式中，在当前屏幕状态为异常状态的情况下，已确定的需要呈现给用户的内容还包括询问用户是否同意收集当前屏幕信息。

结合第三方面，在一些实施方式中，屏幕状态检测模块还用于：在用户同意收集当前屏幕信息的情况下，基于当前屏幕信息进一步训练检测模型。这样使得检测模型能够通过新的数据进行持续地训练，进而优化检测模型。

从上述与第三方面相结合的实施方式中可以看出，本申请的实施方式还可以为服务商和制造商提供屏幕损坏的相应数据，使得进一步优化屏幕质量成为可能。

结合第三方面，在一些实施方式中，获取当前屏幕信息还包括：在屏幕受到高温、浸液和碰撞中的至少一个的情况下获取当前屏幕信息。

结合第三方面，在一些实施方式中，获取当前屏幕信息还包括：在接收到来自用户的指令的情况下获取当前屏幕信息。

第四方面，本申请提供了一种计算机可读存储介质，该存储介质可以是非易失性的。该存储介质中包含指令，该指令在执行后实施如前述任意一个方面或实施方式所描述的方法。

附图说明

图1示出了现有技术的互电容屏检测触控行为原理的示意图。

图2示出了实施本申请示意性的实施例的电子设备的模块示意图。

图3a-3d示出了根据本申请实施例的示例屏幕检测装置与用户交互的示意图。

图4示出根据本申请一个实施例的触控屏检测方法的流程示意图。

图5示出了根据本申请示意性的实施例的示例环境的模块示意图。

图6示出根据本申请实施例的触控屏检测设备的模块示意图。

具体实施方式

为使本申请实施例的目的和技术方案更加清楚，下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的一些实施方式涉及基于互电容屏检测触控行为原理检测触控屏幕的损坏。

通常，互电容屏是通过检测互电容大小变化来实现触摸检测。如图1(a)中所示，当手指触摸屏幕时，手指作为带电导体，会影响两个铟锡氧化物(Indium Tim Oxide，ITO)电极之间的耦合电场，从而改变电力线分布，具体表现结果为互电容大小减小。在此基础上，为了检测发生触控行为的具体屏幕位置，如图1(b)所示，可以在屏幕X和Y方向上分别蚀刻ITO图案，由此构成电容检测矩阵，在每个检测ITO行列交叉处都部署有一对互电容，每一对互电容可以代表触摸屏上的一个真实坐标。根据这样的结构，在触控行为发生时，被触控位置所对应的互电容会产生独立的变化信号，根据该变化信号从而确定发生触控的位置。

进一步对于互电容的电容大小来说，电容大小由电极宽度、间距和材质等设计参数决定，即，互电容大小正比于两平行板的相对面积A和导体之间的介电系数K，反比于两导体之间的相对距离d。根据制造规格，电容大小应该稳定在某一个设计范围内。

在屏幕使用时，交流驱动信号施加到发射极ITO，同时在接收极ITO检测交流信号，通过对比信号前后的变化来实现互电容大小变化的检测。当自电容大小发生变化时，例如，发生了触控行为，或发生裂屏、高温、入液等异常情况，接收极电容和互电容的分压比会发生变化，接收极电容和接收极ITO电阻的分压比也会发生变化。上述变化由互电容阻抗和接收极电容阻抗分压得到，从而确定互电容的电容大小变化。

因此，正常的触控行为所导致的互电容的电容大小变化应稳定于某一区间内。相反，当发生屏幕损坏，例如，出现碎屏、入液和高温等时，互电容的电容大小变化将不会稳定于某一区间内。

本申请的另一些实施方式可以进一步分析屏幕的电容大小变化与屏幕的各种场景，例如，正常使用、高温、浸液、碎屏、跌落、碰撞、挤压、弯曲、变形等的潜在关系，并利用人工智能(Artificial Intelligence，简称AI)对潜在关系进行机器学习，最终获得屏幕状态检测模型。

如本文所使用的，术语“模块或单元”可以指或者包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或组)和/或存储器(共享的、专用的或组)、组合逻辑电路、和/或提供所描述的功能的其他合适的组件，或者可以是专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或组)和/或存储器(共享的、专用的或组)、组合逻辑电路、和/或提供所描述的功能的其他合适的组件的一部分。

图2示出实施根据本申请实施方式的示例电子设备的模块示意图。该电子设备可以用于屏幕检测装置的实施环境。

电子设备200可以包括处理器210，外部存储器接口22220，内部存储器221，通信模块230，传感器模块240，按键250，显示屏260等。其中传感器模块240可以包括压力传感器240A，陀螺仪传感器240B，气压传感器240C，磁传感器240D，加速度传感器240E，距离传感器240F，接近光传感器240G，指纹传感器240H，温度传感器240J，触摸传感器240K，环境光传感器240L，骨传导传感器240M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。

电子设备200的通信功能可以通过通信模块230实现。通信模块230可以提供应用在电子设备200上的各种有线通信连接，还可以提供包括2G/3G/4G/5G，以及包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near fieldcommunication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。使得电子设备200可以通过无线通信技术与网络以及其他设备通信。在一些实施例中，通信模块230的至少部分功能模块可以被设置于处理器210中。在一些实施例中，通信模块230的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。

电子设备200通过GPU，显示屏260，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏260和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏260用于显示图像，视频等。显示屏260包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备200可以包括1个或N个显示屏260，N为大于1的正整数。

外部存储器接口22220可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。外部存储卡通过外部存储器接口22220与处理器210通信，实现数据存储功能。例如将数据库等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如屏幕检测功能等)等。存储数据区可存储电子设备200使用过程中所创建的数据(比如显示屏260产生的电气数据等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器210通过运行存储在内部存储器221的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备200的各种功能应用以及数据处理。

压力传感器240A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器240A可以设置于显示屏260。压力传感器240A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器240A，电极之间的电容改变。电子设备200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏260，电子设备200根据压力传感器240A检测所述触摸操作强度。电子设备200也可以根据压力传感器240A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器240B可以用于确定电子设备200的运动姿态。在一些实施例中，可以通过陀螺仪传感器240B确定电子设备200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器240B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器240B检测电子设备200抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备200的抖动，实现防抖。陀螺仪传感器240B还可以用于导航，体感游戏场景。

气压传感器240C用于测量气压。在一些实施例中，电子设备200通过气压传感器240C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器240D包括霍尔传感器。电子设备200可以利用磁传感器240D检测翻盖皮套的开合。在一些实施例中，当电子设备200是翻盖机时，电子设备200可以根据磁传感器240D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器240E可检测电子设备200在各个方向上(一般为三轴)加速度的大小。当电子设备200静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器240F，用于测量距离。电子设备200可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备200可以利用距离传感器240F测距以实现快速对焦。

接近光传感器240G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备200通过发光二极管向外发射红外光。电子设备200使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备200附近有物体。当检测到不充分的反射光时，电子设备200可以确定电子设备200附近没有物体。电子设备200可以利用接近光传感器240G检测用户手持电子设备200贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器240G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器240L用于感知环境光亮度。电子设备200可以根据感知的环境光亮度自适应调节显示屏260亮度。环境光传感器240L也可用于拍照时自动调节白平衡。环境光传感器240L还可以与接近光传感器240G配合，检测电子设备200是否在口袋里，以防误触。

指纹传感器240H用于采集指纹。电子设备200可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器240J用于检测温度。在一些实施例中，电子设备200利用温度传感器240J检测的温度，执行温度处理策略。例如，当温度传感器240J上报的温度超过阈值，电子设备200执行降低位于温度传感器240J附近的处理器的性能，以便降低功耗实施热保护。

触摸传感器240K，也称“触控器件”。触摸传感器240K可以设置于显示屏260，由触摸传感器240K与显示屏260组成触摸屏，也称“触控屏”。触摸传感器240K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏260提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器240K也可以设置于电子设备200的表面，与显示屏260所处的位置不同。

骨传导传感器240M可以获取振动信号。在一些实施例中，骨传导传感器240M可以获取人体声部振动骨块的振动信号。骨传导传感器240M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器240M也可以设置于耳机中，结合成骨传导耳机。音频模块270可以基于所述骨传导传感器240M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器240M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键250包括开机键，音量键等。按键250可以是机械按键。也可以是触摸式按键。电子设备200可以接收按键输入，产生与电子设备200的用户设置以及功能控制有关的键信号输入。

电子设备包括但不局限于，膝上型设备、手持PC、个人数字助理、蜂窝电话、便携式媒体播放器、可穿戴设备(例如，显示眼镜或护目镜，头戴式显示器(Head-MountedDisplay，简称HMD)，手表，头戴设备，臂带，珠宝等)，虚拟现实(Virtual Reality，简称VR)和/或增强现实(Augment Reality，简称AR)设备，物联网(Internet of Things，IoT)设备，工业控制设备，车载信息娱乐设备，流媒体客户端设备，电子书阅读设备，POS机，以及各种其他电子设备。一般地，能够包含本文中所公开的处理器和/或其它执行逻辑的多个装置和电子设备一般都是合适的。

在用户使用电子设备200的过程中，可能会出现各种意外情况，例如，手机过热、掉落、碰撞等例如，用户通过对电子设备进行预先设置，使得电子设备200在电子设备200的使用过程中，可以实时或定期接收电子设备200的显示屏工作的电气数据和/或传感器的数据，例如，显示屏260的电气数据可以包括电压、电流，和互电容的电容大小、坐标等与屏幕相关的数据。传感器的数据可以包括设置于显示屏260的压力传感器240A的屏幕压力数据，温度传感器240J的温度数据，加速度传感器240E的数据等。图3示出电子设备200的显示屏呈现的图形用户界面300，图形用户界面中电子设备包括提示框312，提示用户电子设备200的屏幕存在异常，正在进行屏幕检测。

例如，用户开启屏幕的自动检测功能后，电子设备200可以在后台接收屏幕当前的数据，例如，特定的传感器数据，温度数据、压力数据、加速度传感器数据等。因此，电子设备200可以对自身温度，以及自身是否发生碰撞、跌落等情况进行感知。当检测到电子设备200的温度过高，可能发生碰撞、跌落和/或挤压的情况时，或者其他情况时，电子设备200将自动运行屏幕检测功能。

具体的以图3a为例，电子设备200的显示屏的呈现的图形用户界面300，图形用户界面300中包括提示框312，提示用户电子设备200的屏幕存在异常，正在进行屏幕检测。提示框312包含退出按键322，用户在看到提示信息312后，可以点击退出按键322，此时电子设备200停止并退出屏幕检测。如果用户没有点击退出按键322来退出屏幕检测，那么电子设备200将开始自动对屏幕进行检测。作为另一示例，电子设备200可以对自动屏幕检测的运行时间进行设置，例如，自动检测的运行时间可以设置为小于或等于预定秒数。此外，在另一示例中，电子设备200还可以在自动检测开始后，自动将该检测在电子设备200的后台运行，使得用户可以退出当前图形用户界面而不会中断屏幕检测。在另一示例中，电子设备200还可以在自动检测开始后，对检测的运行时间进行估算，如果估算的运行时间超过预定阈值，则电子设备200可以自动将屏幕检测转为后台运行。

在一些实施方式中，屏幕检测功能启动后，电子设备200获取当前屏幕信息，当前屏幕信息包括当前获取的与电子设备200的屏幕的电气元件相关的信息。电气元件相关的信息可以包括当前显示屏工作时的电压、电流，和互电容的电容大小、互电容的坐标等的电气数据。在一些实施方中，电子设备200在获取当前屏幕信息时，可以要求用户按照指示在屏幕上进行触控操作，例如在进行屏幕时，电子设备200的显示屏的关键触电按顺序闪烁，提示用户进行触摸操作，从而确认屏幕是否正常运行。

在另一种可能的实施方式中，电子设备200还可以自动地执行一些可以使屏幕显示动态变化的例程，这些例程可以有助于更准确地获取屏幕的电气元件的信息，例如，例程可以包括，在屏幕上按一定频率显示不同的色彩，步进地改变屏幕亮度等。作为一个示例，在屏幕检测时，屏幕可以根据灰度变化，显示从纯白色到纯黑色的灰度变化图像，或者显示预先设定的多个彩色图像。可选地或附加地，在屏幕检测时，屏幕的亮度也可以从低到高或从高到低的改变。通过在屏幕检测时执行上述例程，可以使得驱动屏幕的显示面板的电压和电流发生相应地大范围的动态变化，从而可以获取屏幕的电气元件的相对全面的数据，减小所获取的数据的误差。

电子设备200获取到当前屏幕的信息后，将当前屏幕的信息输入到检测模型中，检测模型根据电子设备输入的当前屏幕信息，确定屏幕当前是否正常，若检测模型判断当前屏幕处于异常状态，检测模型进一步判断当前屏幕的异常类型。具体的，异常类型可以包括高温、浸液、碰撞、碎裂等。例如，当检测模型根据电子设备输入的当前屏幕的信息确定屏幕的当前状态可以包括屏幕异常，以及屏幕当前异常状态为高温。

在各种实施方式中，电子设备200可以将一个或多个当前屏幕的信息。例如，屏幕相关的电气数据和/或传感器数据应用于一个或多个诸如机器学习模型的检测模型，来确定当前屏幕的状态。

作为一个示例，电子设备200可以将屏幕工作的电压、电流，和互电容的电容值、坐标等电气数据，屏幕状态和与场景相关的传感器数据，例如，与高温场景有关的温度数据，与碰撞和跌落相关的加速度传感器数据等，作为输入应用于关联规则模型和诸如变分自动编码器(Variational Autoencoder，VAE)的神经网络模型。

例如，屏幕的互电容的电容值和坐标可以输入关联规则模型，该关联规则模型的输出指示屏幕是否正常，损坏和/或与损坏相关的场景(例如，高温、浸液、碰撞、碎裂等)。电子设备200可以至少部分地基于该关联规则模型的输出确定屏幕状态信息。

其中，关联规则模型被训练为基于上述输入来确定不同场景和屏幕损坏之间的关联关系以及该关联关系对应的规则组合，并根据规则组合判断屏幕是否损坏。类似地，神经网络模型被训练为基于上述输入来预测屏幕状态的种类，例如，正常、浸液异常、高温异常、跌落异常和碰撞异常等。

在一些实施方式中，上述训练后的模型还可以输出屏幕发生异常的位置信息。例如，电子设备200可以输出屏幕异常位置处的一个或多个互电容的坐标值，作为一个示例，电子设备200还可以基于这些坐标值为用户提供可视化的异常位置的示意图，例如，坐标图，虚拟的屏幕图等。

在一些实施方式中，在训练模型之前，用于训练上述模型的屏幕的历史屏幕信息和历史屏幕状态可以通过数据清洗、特征提取和数据预处理等方式进行优化。例如，利用主成分分析法(Principal Component Analysis，PCA)对输入数据进行特征提取，使得输入数据从高纬度空间转换到低纬度空间，同时确保重要的特征信息被保留。经过优化后，输入数据的数据纬度被统一，异常数据被剔除。此类，还可以结合相关性分析、聚类分析等算法，例如，Apriori算法，K-means算法等。可以理解，输入数据的优化可以作为上述模型的一部分，或者还可以通过其他模型执行，其他模型优化后数据将作为上述关联规则模型和VAE模型的输入。

作为一个示例，历史屏幕信息包括屏幕的历史使用情况和在出现历史使用情况下获取的与屏幕的电气元件相关的信息，例如，各种屏幕工作时的电压、电流，和互电容的电容值、坐标等的电气数据，历史屏幕状态包括各种可能的屏幕场景(例如，正常、异常、高温、浸液、碎屏、跌落、碰撞等)等。将这些数据输入关联规则模型，模型经过训练后，可以确定与屏幕状态相关的多维关联规则。例如，将电流、电压、电容值、坐标值，以及正常触控、高温、浸液、碎裂(碎屏)、跌落、碰撞、挤压、弯曲、变形等可能场景作为K项集的项(特征)，通过关联规则的支持度(support)和置信度(confidence)来度量关联规则的强度，其中，支持度是特征组合出现的概率,用于衡量样本量多少，可以对初始规则集过滤，支持度说明了这条规则在所有事务中有多大的代表性，显然支持度越大，关联规则越重要；置信度是确定一特征在包含另一特征的情况中出现的条件概率(频繁程度)。

在训练时，对每个特征以及它们的组合逐个计算支持度，通过设置最小支持度阈值去除无关的规则，获得所有大于或等于指定的最小支持度的频繁项集。之后，利用频繁项集生成所需要的关联规则，根据设定的最小置信度阈值筛选出强关联规则。例如，假如有10000个终端设备，其中，1000个终端发生碎屏，2000个终端发生跌落，有800个终端即碎屏又跌落，用符号

表示关联关系，那么在样本中存在碎屏与跌落的关联的样本的概率为

并且在碎屏的样本中与跌落相关的概率为

如果设定的最小置信度阈值为75％，那么根据

可以得到

为强关联规则。类似地，在关联模型的训练中，根据上述输入的不同特征，可以获得强关联关系可能包括，例如，(

)，(电容值，

)，(电容值，

)，(电流，浸液，

)等各种关系。本申请在此仅作举例，并不限定最终获得的强关联关系。

作为另一个示例，将各种屏幕工作时的电压、电流，和互电容的电容值、坐标，和屏幕相关场景(例如，屏幕正常使用、异常、高温、入液、碎屏、跌落、碰撞等)等数据输入检测模型，模型经过训练后，可以对屏幕状态进行评估和/或预测。例如，将电流、电压、电容值、坐标值，以及正常触控、高温、浸液、碎裂(碎屏)、跌落、碰撞、挤压、弯曲、变形等可能场景作为输入训练VAE模型，训练后的VAE模型能够根据输入的屏幕互电容的电容值和坐标预测屏幕的可能的状态的种类，例如，正常、浸液异常、高温异常、挤压异常、弯曲异常、变形异常、跌落异常、碎裂异常和碰撞异常等。

在一些实施方式中，电子设备200可选地综合来自上述关联规则模型和VAE模型这两种模型的输出，并提供综合的输出指示，该指示作为屏幕状态信息。

作为另一个示例，代替上述两个单独的模型，或者除了上述两个单独的模型之外，电子设备200可以基于其他机器学习模型的神经网络模型，该神经网络模型被训练为，基于多个异构输入预测屏幕状态的一个或多个种类。例如，电子设备200可以将自来各种传感器的数据，电子设备200的音频输入以及文本输入的一个或多个特征，作为输入应用于神经网络模型，并且在模型上生成指示屏幕状态的种类的输出。例如，神经网络模型还可以将用户对当前屏幕状态的简要描述作为输入数据的一部分结合屏幕自身的电气数据和传感器的数据，来生成指示屏幕状态的输出。尽管描述了特定的输入和模型，但是可以使用诸如本文其他地方描述的那些额外的或替代的输入和/或模型。

在一些实施方式中，电子设备200利用的各种模型可以包括在数据库中，电子设备200可以利用数据库来检测屏幕状态，并生成屏幕状态信息。

在一些实施方式中，一个或多个数据库可以远离电子设备200和/或任何独立的电子设备。可选地或附加地，一个或多个数据库可以是在电子设备200和/或任何独立的电子设备的本地。在说明书中，术语“数据库”用于指代存储在一个或多个计算机可读介质中的结构化或非结构化数据的任意集合。

在一些实施方式中，上述关联规则模型、VAE模型和/或其他神经网络模型可以在远离电子设备200的服务器上训练，训练后的模型可以经由网络从服务器推送至电子设备200，或者训练后的模型存储在服务器的数据库中，电子设备200经由网络与该服务器通信，从而向模型发送当前屏幕的信息，并获取模型基于当前屏幕的信息产生的输出结果。

作为一个示例，电子设备200的屏幕检测可以在独立于用户终端的一个或多个计算设备上进行，该一个或多个计算设备部署有屏幕检测所需要的已训练的模型。例如，电子设备200通过网络将收集的当前的屏幕数据发送给计算设备，并从计算设备接收屏幕检测结果。

在另一些实施方式中，上述关联规则模型、VAE模型和/或其他神经网络模型可以由电子设备200训练。优化后的训练数据可以在用户同意的情况下推送到电子设备200，电子设备200基于训练数据对上述关联规则模型、VAE模型和/或其他神经网络模型进行训练。之后，已训练的模型存储在电子设备200所在的电子设备的非易失性存储器中，例如，存储在一个或多个本地的数据库中。

在一些实施方式中，电子设备200采集用户电子设备的屏幕相关数据，数据采集可以周期地进行，并且采集的数据经用户同意可以自动发送给远离本地的电子设备200。作为另一个示例，采集的数据可以存储在数据库中，在获得用户同意后，发送给远离本地的电子设备200。

在这里讨论的某些实施方式可以收集或使用关于用户的屏幕工作时相关的电气数据(例如，电压、电流，和互电容的电容大小、坐标等)的情况下，这里讨论的系统和方法仅在接收到相关用户的明确授权时才收集，存储和/或使用屏幕相关数据。例如，向用户提供关于是否收集信息以及关于信息的哪些部分被收集的许可或授权。

电子设备200会获取用户屏幕当前的数据，例如，互电容的电容值和坐标值，屏幕的电压和电流等，并基于这些数据，利用如上所述的各种模型进行屏幕检测，检测完成后，根据检测结果为用户呈现相应的内容。以下将参考图3c-3d对呈现内容进行具体描述。

图3b示出用户主动唤出电子设备200的图形用户界面的示例300。

当用户需要对屏幕进行检测时，用户可以在电子设备200上运行电子设备200。在用户运行电子设备200后，图形用户界面300会向用户发出确认信息314，用户可以选择继续运行屏幕检测或退出该检测，例如通过运行按键324和退出按键322。检测过程与上述电子设备200的自动检测过程相同，在此不在赘述。

图3c示出了在屏幕检测结果为正常时，图形用户界面300的示意图。在电子设备200输出屏幕检测结果为正常的情况下，即屏幕状态为正常时，界面300向用户显示检测结果316。用户通过确认按键326对屏幕检测结果进行确认。此外，作为一个示例，界面300还可以进一步显示与屏幕使用的相关风险的提示332，以及与屏幕问题相关的服务的查询334。例如，通过点击332，可以显示屏幕损坏的风险，屏幕使用以及如何避免屏幕损坏的相关建议；通过点击334，可以为用户显示可以选择屏幕保障服务，例如，碎屏保等不同类型的屏幕保险，和/或屏幕服务的优惠信息。

在一些可选的或附加的实施方式中，界面300还可以向用户同时显示检测结果316以及与屏幕使用的相关风险的提示332，以及与屏幕问题相关的服务的查询334。例如，检测结果316、屏幕使用的相关风险的提示332和服务的查询334可以分别形成为信息块，这些信息块以预定的排列方式显示在界面300上，以供用户查看；或者，检测结果316、屏幕使用的相关风险的提示332和服务的查询334还可以形成为一个信息块并显示在界面300上，用户可以通过诸如触控操控等与界面300的交互手段，对上述各个信息块的显示内容进行查看。

在一些实施方式中，在电子设备200输出屏幕检测结果为损坏的情况下，即屏幕状态为异常时，图形用户界面300可以向用户显示不同于图3c的内容。

图3d示出了在屏幕检测结果为异常时，图形用户界面300的示意图。如图3d所示，界面300向用户显示了屏幕损坏的检测结果318。用户可以通过确认按键326对屏幕检测结果进行确认。此外，如果用户同意，用户还可以通过按键328来将屏幕检测的结果和相关的数据发送给电子设备200的服务提供者，该服务提供者可以包括为用户提供并维护屏幕检测模型的服务商。例如，这些检测结果和数据经过用户隐私数据的脱敏处理后，例如，可以对用户的身份信息处理，以便不能确定用户的个人可识别信息，通过网络发送给电子设备200的服务提供者。这些检测结果和数据可用于优化用户的屏幕检测模型，例如，作为屏幕检测的模型的训练数据。

在一些实施方式中，检测结果和数据还可以提供给设备制造者，尤其是屏幕的制造者，以便后续对屏幕质量进行相应的优化和提升。

在上述可以收集或使用关于用户的屏幕工作时相关的信息(例如，电压、电流，和互电容的电容大小、坐标等电气数据)的情况下，装置仅在接收到相关用户的明确授权时才收集，存储和/或使用屏幕相关数据。例如，向用户提供关于是否收集信息以及关于信息的哪些部分被收集的许可或授权。

作为另一个示例，在屏幕状态为异常的情况下电子设备200还可以进一步获取电子设备200输出的具体的屏幕状态的种类，例如，高温异常、碰撞异常、浸液异常等。具体的异常种类也可以在图形用户界面300中作为检测结果显示给用户。

作为另一个示例，基于屏幕损坏的检测结果，界面300还可以为用户显示用户可能关心的功能，例如，电子设备的保修336和服务查询334。用户通过点击336可以查看设备的保修期限和设备的权益记录，方便用户确认设备是否在维保期限内。用户还可以通过点击334查询设备的服务中心，用户通过共享位置信息可以获得距离用户最近的服务中心的具体信息。

在一些可选的或附加的实施方式中，界面300还可以向用户同时显示屏幕损坏的检测结果318以及用户可能关心的功能，例如，电子设备的保修336和服务查询334。作为一个示例，检测结果318、电子设备的保修336和服务查询334可以分别形成为信息块，这些信息块以预定的排列方式显示在界面300上，以供用户查看；或者，检测结果316、电子设备的保修336和服务查询334还可以形成为一个信息块并显示在界面300上，用户可以通过诸如触控操控等与界面300的交互手段，对上述各个信息块的显示内容进行查看。

图4根据本申请一个实施例的触控屏检测方法的流程示意图。

为方便起见，参考进行操作的设备来描述流程图的操作。在一些实施方式中，方法400例如在电子设备上实施，例如，如图2所示的电子设备上实施。该设备可以包括各种计算系统的各种组件，例如电子设备200的一个或多个组件。此外，虽然方法400的操作以特定顺序示出，但这并不意味着限制。一个或多个操作可以被重新排序，省略或添加。

在401，电子设备200获取当前屏幕信息，其中当前屏幕信息包括当前获取的与用户设备的屏幕的电气元件相关的信息。

在一些实施方式中，当前屏幕信息将作为电子设备200的输入的一部分用于屏幕状态的检测。当前屏幕信息可以部分地由设备的传感器生成，也可以通过采集显示屏的电流、电压和互电容的电容大小、坐标等来获得。

在一些实施方式中，电子设备200可以在屏幕受到高温、浸液和碰撞中的至少一个的情况下获取当前屏幕信息。

在另一些实施方式中，电子设备200在接收到来自用户的指令的情况下获取当前屏幕信息。

在402，电子设备200根据获取的屏幕数据，利用检测模型对屏幕进行检测，确定屏幕的状态，判断屏幕是否正常。在确定屏幕状态时，电子设备200可以利用上述提及的各种检测模型。在一些实施方式中，检测模型包括，至少部分地基于屏幕的历史屏幕信息和屏幕的历史屏幕状态的机器学习模型，其中历史屏幕信息包括屏幕的历史使用情况和在出现历史使用情况下获取的与屏幕的电气元件相关的信息，并且历史屏幕状态至少部分地指示在出现历史使用情况下屏幕处于正常状态或异常状态。

在一些实施方式中，当前屏幕状态还包括与屏幕的当前使用情况相关的信息，例如，当前使用情况相关的信息至少部分地指示用户设备是否受到高温、浸液、和碰撞中至少一个。

在一些实施方式中，异常状态包括与屏幕的当前使用情况或者历史使用情况相关的异常状态。例如，异常状态包括与高温相关的异常状态、与浸液相关的异常状态、与碎裂相关的异常状态、和与碰撞相关的异常状态中的至少一个。

在一些实施方式中，该检测模型可以是电子设备200从服务器接收的。

在一些实施方式中，该检测模型可以是电子设备200根据屏幕的历史屏幕信息和历史屏幕状态进行训练的。

在403和404，电子设备200基于当前屏幕状态信息来确定给用户的呈现内容。电子设备200可以根据检测到的屏幕的不同状态呈现各种类型的内容，并且可以利用各种技术来选择性的为用户呈现其可能感兴趣的内容。在405a和405b，设备向用户呈现确定的内容。

作为一个示例，对于403和405b，如上述图3c所示，电子设备输出屏幕检测结果为正常的情况下，即屏幕状态为正常时，界面300向用户显示检测结果316。此外，作为一个示例，界面300还可以进一步显示与屏幕使用的相关风险的提示332，以及与屏幕问题相关的服务的查询334。例如，通过点击332，可以显示屏幕损坏的风险，屏幕使用以及如何避免屏幕损坏的相关建议；通过点击334，可以为用户显示可以选择屏幕保障服务，例如，碎屏保等不同类型的屏幕保险，和/或屏幕服务的优惠信息。

在一些可选的或附加的实施方式中，界面300还可以向用户同时显示检测结果316以及与屏幕使用的相关风险的提示332，以及与屏幕问题相关的服务的查询334。例如，检测结果316、屏幕使用的相关风险的提示332和服务的查询334可以分别形成为信息块，这些信息块以预定的排列方式显示在界面300上，以供用户查看；或者，检测结果316、屏幕使用的相关风险的提示332和服务的查询334还可以形成为一个信息块并显示在界面300上，用户可以通过诸如触控操控等与界面300的交互手段，对上述各个信息块的显示内容进行查看。

对于404和405a，如上述图3d所示，界面300向用户显示了屏幕损坏的检测结果318。作为一个示例，基于屏幕损坏的检测结果，界面300还可以为用户显示用户可能关心的功能，例如，电子设备的保修336和服务查询334。用户通过点击336可以查看设备的保修期限和设备的权益记录，方便用户确认设备是否在维保期限内。用户还可以通过点击334查询设备的服务中心，用户通过共享位置信息可以获得距离用户最近的服务中心的具体信息。

在屏幕状态为异常的情况下，为用户呈现的内容还可以包括块406，向用户询问是否同意将屏幕数据提交给服务供应商。如果用户同意，在块407，当前屏幕数据将经由网络发送给服务供应商。

例如，如果用户同意，在图3d中，用户还可以通过按键328来将屏幕检测的结果和相关的数据发送给电子设备的服务提供者。例如，这些检测结果和数据经过用户身份处理后，例如，可以对用户的身份处理，以便不能确定用户的个人可识别信息，通过网络发送给电子设备的服务提供者。这些检测结果和数据可用于优化用户的电子设备，例如，作为屏幕检测的模型的训练数据。

在一些可选的或附加的实施方式中，界面300还可以向用户同时显示屏幕损坏的检测结果318以及用户可能关心的功能，例如，电子设备的保修336和服务查询334。作为一个示例，检测结果318、电子设备的保修336和服务查询334可以分别形成为信息块，这些信息块以预定的排列方式显示在界面300上，以供用户查看；或者，检测结果316、电子设备的保修336和服务查询334还可以形成为一个信息块并显示在界面300上，用户可以通过诸如触控操控等与界面300的交互手段，对上述各个信息块的显示内容进行查看。

在一些实施方式中，在用户同意收集当前屏幕信息的情况下，电子设备200可以基于当前屏幕信息进一步训练检测模型。

尽管以特定顺序示出了块401-407，但是应当理解，可以改变顺序，可以并行执行一个或多个块，和/或可以仅选择性地执行一个或多个块。

本申请的一些实施方式涉及用户与电子设备200的交互。在一些情况下，电子设备200响应于用户经由一个或多个用户界面输入设备生成的用户界面输入(例如，基于通过物理或虚拟键盘提供的键入输入，或基于通过麦克风提供的口头输入)、和/或图形选择输入(例如，不限于下拉菜单中呈现的一组选项)，为用户提供屏幕检测相关的呈现内容。

在另一些情况下，电子设备200响应于屏幕的当前使用情况相关的信息，为用户提供屏幕检测相关的回复内容。当前使用情况相关的信息例如包括经由一个或多个传感器设备传输的传感器数据。

如本文所述，在许多情况下，电子设备200生成的呈现内容是基于当前屏幕的状态信息生成的。与生成回复内容有关的屏幕状态信息可以包括屏幕是否正常或异常，以及在异常时与屏幕损坏相关的各种场景。

响应于与当前屏幕状态相关的用户提供的输入和/或传感器的输入，可以提供各种类型的呈现内容。此外，可以利用各种技术来确定屏幕状态信息和/或基于屏幕状态信息来确定回复内容。下面参考附图更详细地描述这些技术中的一些。

图5示出了本申请实施方式的用于电子设备的示例环境的示意图。示例环境包括一个或多个用户界面输入设备502，一个或多个用户界面输出设备504，一个或多个传感器506，电子设备520，以及一个或多个数据库542。

用户界面输入设备502可以包括如图5所示按键250、显示屏260(例如，实施触控或虚拟键盘输入机制)和/或麦克风270C。用户界面输出设备504可以包括，例如，显示屏260和/或扬声器270A。传感器506可以包括传感器模块240中一个或多个。

电子设备520包括屏幕状态检测模块522、信息采集模块524、和内容呈现模块526。

在一些实施方式中，电子设备520的全部或多个方面可以在电子设备200上实施。尽管图5中示出的电子设备520与传感器506分离并且与用户界面输入和输出设备502、504分离，但是，在一些实施方式中，电子设备520的全部或多个方面可以在计算设备上实施，该计算设备与包含用户界面输入设备502，用户界面输出设备504和/或传感器506的计算设备相分离且远离(例如，所有或多个方面可以“在云中”实施)。在这些实施方式中的一些实施方式中，电子设备520的所有或多个方面可以经由诸如局域网(LAN)和/或广域网(WAN)(例如，因特网)的一个或多个网络与计算设备通信。然而，为了简洁起见，本公开中描述的一些示例将集中于用户操作电子设备520。

如图5所示，用户经由用户界面输入设备502向电子设备520提供输入。电子设备520经由用户界面输出设备504向用户提供用于呈现的内容，可选地，呈现的内容可以由一个或多个组件进一步处理之后做呈现。为简单起见，在以下实施方式中，用户的输入由用户界面输入设备502直接提供给电子设备520，并且输出由电子设备520直接提供给用户界面输出设备504。然而在各种实施方式中，一个或多个中间硬件组件可以在功能上地插入电子设备520和用户界面输入和/或输出设备502、504之间，并且可选地处理输入和/或输出。

尽管在图5中，数据库542被示为与电子设备520分开，但是在一些实施方式中，一个或多个数据库542的一个或多个方法可以合并在电子设备520中。数据库542可用于存储上述实施方法中描述的检测模型560。

电子设备520可以被配置为用于执行图3-图4中描述的相应的操作、动作以及过程，对于上述交互过程和方法实施方式中未描述的内容，可以参见下述装置实施方式；同样地，对于装置实施方式中未描述的内容，可参见上述交互过程和方法实施方式。

在电子设备520中，信息采集模块524用于获取当前屏幕信息，其中当前屏幕信息包括当前获取的与用户设备的屏幕的电气元件相关的信息。

在一些实施方式中，信息采集模块524可以在屏幕受到高温、浸液和碰撞中的至少一个的情况下获取当前屏幕信息。

在另一些实施方式中，信息采集模块524在接收到来自用户的指令的情况下获取当前屏幕信息。

屏幕状态检测模块522，用于基于当前屏幕信息，利用检测模型560确定屏幕的当前屏幕状态，其中当前屏幕状态至少部分地指示屏幕当前处于正常状态或异常状态。

其中，检测模型560包括，至少部分地基于屏幕的历史屏幕信息和屏幕的历史屏幕状态的机器学习模型，其中历史屏幕信息包括屏幕的历史使用情况和在出现历史使用情况下获取的与屏幕的电气元件相关的信息，并且历史屏幕状态至少部分地指示在出现历史使用情况下屏幕处于正常状态或异常状态。

在一些实施方中，电气元件包括电容，并且，与电气元件相关的信息包括电容的电容值和电容的位置中的至少一个。

在一些实施方中，当前屏幕状态还包括与屏幕的当前使用情况相关的信息。例如，当前使用情况相关的信息至少部分地指示用户设备是否受到高温、浸液、和碰撞中至少一个。

在一些实施方式中，异常状态包括与屏幕的当前使用情况或者历史使用情况相关的异常状态。例如，异常状态包括与高温相关的异常状态、与浸液相关的异常状态、与碎裂相关的异常状态、和与碰撞相关的异常状态中的至少一个。

在一些实施方式中，该检测模型560可以是电子设备520从服务器接收的。

在一些实施方式中，该检测模型560可以是电子设备520根据屏幕的历史屏幕信息和历史屏幕状态进行训练的。

内容呈现模块526，用于基于当前屏幕状态，确定呈现给用户的内容，内容包括当前屏幕状态和与当前屏幕状态相关联的服务信息；以及经由屏幕向用户显示内容。

在一些实施方式中，当前屏幕状态为正常状态的情况下，服务信息包括提示用户防范屏幕出现异常状态的信息和/或屏幕的维护服务的信息。

在一些实施方式中，当前屏幕状态为异常状态的情况下，服务信息包括屏幕的维修或者销售的信息。

在一些实施方式中，前屏幕状态为异常状态的情况下，内容还包括，询问用户是否同意收集当前屏幕信息。

在一些实施方式中，屏幕状态检测模块522还用于：在用户同意收集当前屏幕信息的情况下，基于当前屏幕信息进一步训练检测模型560。

在另一些实施方式中，电子设备520经由信息采集模块524采集用户电子设备的屏幕相关数据，数据采集可以周期地进行，并且采集的数据经用户同意可以自动发送给远离本地的屏幕状态检测模块522。作为另一个示例，采集的数据可以存储在数据库542中，在获得用户同意后，发送给远离本地的屏幕状态检测模块522。

根据本申请的各个实施例，通过结合人工智能技术，可以在用户的终端设备上为用户提供屏幕检测的服务，而无需依赖第三方设备。此外，本申请的技术方案还解决了用户自己无法确认屏幕是否损坏的问题，还进一步为用户提供关怀服务，为用户降低了后续维修的不便。

进一步地，本申请的技术方案还可以为服务商和制造商提供屏幕损坏的相应数据，使得进一步优化屏幕质量成为可能。

现在参考图6，所示为根据本申请的一个实施例的触控屏检测设备600的框图。设备600可以包括一个或多个处理器602，与处理器602中的至少一个连接的系统控制逻辑608，与系统控制逻辑608连接的系统内存604，与系统控制逻辑608连接的非易失性存储器(NVM)606，以及与系统控制逻辑608连接的网络接口610。

处理器602可以包括一个或多个单核或多核处理器。处理器602可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任何组合。在本文的实施例中，处理器602可以被配置为执行根据如图3-6所示的各种实施例的一个或多个实施例。

在一些实施例中，系统控制逻辑608可以包括任意合适的接口控制器，以向处理器602中的至少一个和/或与系统控制逻辑608通信的任意合适的设备或组件提供任意合适的接口。

在一些实施例中，系统控制逻辑608可以包括一个或多个存储器控制器，以提供连接到系统内存604的接口。系统内存604可以用于加载以及存储数据和/或指令。在一些实施例中设备600的内存604可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(DRAM)。

NVM/存储器606可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，NVM/存储器606可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如HDD(Hard Disk Drive，硬盘驱动器)，CD(Compact Disc，光盘)驱动器，DVD(Digital Versatile Disc，数字通用光盘)驱动器中的至少一个。

NVM/存储器606可以包括安装在设备600的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口610通过网络访问NVM/存储606。

特别地，系统内存604和NVM/存储器606可以分别包括：指令620的暂时副本和永久副本。指令620可以包括：由处理器602中的至少一个执行时导致设备600实施如图4所示的方法的指令。在一些实施例中，指令620、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑608，网络接口610和/或处理器602中。

网络接口610可以包括收发器，用于为设备600提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口610可以集成于设备600的其他组件。例如，网络接口610可以集成于处理器602的，系统内存604，NVM/存储器606，和具有指令的固件设备(未示出)中的至少一种，当处理器602中的至少一个执行所述指令时，设备600实现图2-4所示的各种实施例的一个或多个实施例。

网络接口610可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口610可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。

在一个实施例中，处理器602中的至少一个可以与用于系统控制逻辑608的一个或多个控制器的逻辑封装在一起，以形成系统封装(SiP)。在一个实施例中，处理器602中的至少一个可以与用于系统控制逻辑608的一个或多个控制器的逻辑集成在同一管芯上，以形成片上系统(SoC)。

设备600可以进一步包括：输入/输出(I/O)设备612。I/O设备612可以包括用户界面，使得用户能够与设备600进行交互；外围组件接口的设计使得外围组件也能够与设备600交互。在一些实施例中，设备600还包括传感器，用于确定与设备600相关的环境条件和位置信息的至少一种。

在一些实施例中，用户界面可包括但不限于显示器(例如，液晶显示器，触摸屏显示器等)，扬声器，麦克风，一个或多个相机(例如，静止图像照相机和/或摄像机)，手电筒(例如，发光二极管闪光灯)和键盘。

在一些实施例中，外围组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。

在一些实施例中，传感器可包括但不限于陀螺仪传感器，加速度计，近程传感器，环境光线传感器和定位单元。定位单元还可以是网络接口610的一部分或与网络接口610交互，以与定位网络的组件(例如，全球定位系统(GPS)卫星)进行通信。

本申请的各方法实施方式均可以以软件、磁件、固件等方式实现。

可将程序代码应用于输入指令，以执行本文描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

至少一个实施例的一个或多个方面可以由存储在计算机可读存储介质上的表示性指令来实现，指令表示处理器中的各种逻辑，指令在被机器读取时使得该机器制作用于执行本文所述的技术的逻辑。被称为“IP核”的这些表示可以被存储在有形的计算机可读存储介质上，并被提供给多个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。

在一些情况下，指令转换器可用来将指令从源指令集转换至目标指令集。例如，指令转换器可以变换(例如使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其它方式将指令转换成将由核来处理的一个或多个其它指令。指令转换器可以用软件、硬件、固件、或其组合实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。

Claims (13)

1.一种用于检测屏幕的方法，其特征在于，所述方法包括：

电子设备获取当前屏幕信息，其中所述当前屏幕信息包括当前获取的所述电子设备的屏幕的电气元件的信息；

所述电子设备基于所述当前屏幕信息，利用检测模型确定所述屏幕的当前屏幕状态，其中所述当前屏幕状态至少部分地指示所述屏幕当前处于正常状态或异常状态；

其中，所述检测模型包括，至少部分地基于所述屏幕的历史屏幕信息和所述屏幕的历史屏幕状态的机器学习模型，其中所述历史屏幕信息包括所述屏幕的历史使用情况和在出现所述历史使用情况下获取的所述屏幕的所述电气元件的信息，并且所述历史屏幕状态至少部分地指示在出现所述历史使用情况下所述屏幕处于正常状态或异常状态。

2.如权利要求1所述的方法，其特征在于，所述当前屏幕信息还包括所述屏幕的当前使用情况的信息，其中所述当前使用情况的所述信息至少部分地指示所述电子设备是否受到高温、浸液、和碰撞中至少一个。

3.如权利要求1所述的方法，其特征在于，所述异常状态包括所述屏幕的当前使用情况或者所述历史使用情况的与高温相关的异常状态、与浸液相关的异常状态、与碎裂相关的异常状态、和与碰撞相关的异常状态中的至少一个。

4.如权利要求1所述的方法，其特征在于，还包括：

所述电子设备根据所述屏幕的所述历史屏幕信息和所述历史屏幕状态，训练所述检测模型，

其中，所述检测模型至少部分地基于关联规则，所述训练包括：

计算与所述历史屏幕信息和所述历史屏幕状态相关的支持度和置信度；

基于所述支持度和所述置信度，得出所述历史屏幕信息与所述历史屏幕状态的所述关联规则。

5.如权利要求1所述的方法，其特征在于，还包括：

所述电子设备呈现内容，所述内容包括所述当前屏幕状态和与所述当前屏幕状态相关联的服务信息，其中，在所述当前屏幕状态为所述正常状态的情况下，所述服务信息包括以下中的一个或多个：

提示用户防范所述屏幕出现所述异常状态的信息，

所述屏幕的维护服务的信息。

6.如权利要求1所述的方法，其特征在于，还包括：

所述电子设备呈现内容，所述内容包括所述当前屏幕状态和与所述当前屏幕状态相关联的服务信息，

其中，在所述当前屏幕状态为所述异常状态的情况下，所述服务信息包括所述屏幕的维修或者销售的信息。

7.一种电子设备，其特征在于，包括：

显示屏；

处理器；

存储器，所述存储器存储用于由所述处理器执行的一个或多个指令，所述指令用于检测所述显示屏，所述指令包括：

获取当前屏幕信息，其中所述当前屏幕信息包括当前获取的所述显示屏的电气元件的信息；

基于所述当前屏幕信息，利用检测模型确定所述显示屏的当前屏幕状态，其中所述当前屏幕状态至少部分地指示所述显示屏当前处于正常状态或异常状态；

其中，所述检测模型包括，至少部分地基于所述显示屏的历史屏幕信息和所述显示屏的历史屏幕状态的机器学习模型，其中所述历史屏幕信息包括所述显示屏的历史使用情况和在出现所述历史使用情况下获取的所述显示屏的所述电气元件的信息，并且所述历史屏幕状态至少部分地指示在出现所述历史使用情况下所述显示屏处于正常状态或异常状态。

8.如权利要求7所述的电子设备，其特征在于，所述当前屏幕信息还包括所述显示屏的当前使用情况的信息，其中所述当前使用情况的所述信息至少部分地指示所述电子设备是否受到高温、浸液、和碰撞中至少一个。

9.如权利要求7所述的电子设备，其特征在于，所述异常状态包括所述显示屏的当前使用情况或者所述历史使用情况的与高温相关的异常状态、与浸液相关的异常状态、与碎裂相关的异常状态、和与碰撞相关的异常状态中的至少一个。

10.如权利要求7所述的电子设备，其特征在于，所述指令还包括：

根据所述显示屏的所述历史屏幕信息和所述历史屏幕状态，训练所述检测模型，

其中，所述检测模型至少部分地基于关联规则，所述训练包括：

计算与所述历史屏幕信息和所述历史屏幕状态相关的支持度和置信度；

基于所述支持度和所述置信度，得出所述历史屏幕信息与所述历史屏幕状态的所述关联规则。

11.如权利要求7所述的电子设备，其特征在于，所述指令还包括：

在所述显示屏呈现内容，所述内容包括所述当前屏幕状态和与所述当前屏幕状态相关联的服务信息，

其中，在所述当前屏幕状态为所述正常状态的情况下，所述服务信息包括以下中的一个或多个：

提示用户防范所述显示屏出现所述异常状态的信息，

所述显示屏的维护服务的信息。

12.如权利要求7所述的电子设备，其特征在于，所述指令还包括：

在所述显示屏呈现内容，所述内容包括所述当前屏幕状态和与所述当前屏幕状态相关联的服务信息，

其中，在所述当前屏幕状态为所述异常状态的情况下，所述服务信息包括所述显示屏的维修或者销售的信息。

13.一种计算机可读存储介质，其特征在于，包括指令，当由计算设备的至少一个处理器执行所述指令时，使所述至少一个处理器进行权利要求1至6中任一项所述的方法。

Images