CN111340808A - 屏幕显示监控方法及装置、电子设备、存储介质 - Google Patents
屏幕显示监控方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN111340808A CN111340808A CN202010428063.2A CN202010428063A CN111340808A CN 111340808 A CN111340808 A CN 111340808A CN 202010428063 A CN202010428063 A CN 202010428063A CN 111340808 A CN111340808 A CN 111340808A
- Authority
- CN
- China
- Prior art keywords
- screen
- display
- screen display
- video data
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 230000007547 defect Effects 0.000 claims abstract description 184
- 238000012545 processing Methods 0.000 claims abstract description 82
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000009877 rendering Methods 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims description 138
- 238000012549 training Methods 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012806 monitoring device Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000001454 recorded image Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本公开是关于一种屏幕显示监控方法及装置、电子设备、存储介质。所述屏幕显示监控方法包括：检测到第一事件时，生成屏幕的录制指令；响应于录制指令，为屏幕创建录屏虚拟设备以及图层传输接口；触发录屏虚拟设备采集屏幕的显示图层数据，通过图层传输接口将显示图层数据向多媒体模块发送，多媒体模块将显示图层数据渲染合并为图像视频数据；对图像视频数据进行分析，确定屏幕的图像显示是否存在显示缺陷；在屏幕存在显示缺陷时，获取支持屏幕显示的处理单元的状态参数，将显示缺陷信息及状态参数向指定的端口发送。本公开能够基于上报信息确定缺陷出现原因，针对性生成相应的解决方案，提升电子设备的显示品质。
Description
技术领域
本公开涉及电子设备处理技术，尤其涉及一种屏幕显示监控方法及装置、电子设备、存储介质。
背景技术
电子设备的各种操作系统都存在着黑屏、闪屏、花屏或高斯模糊失效等的现象，这给用户的使用带来极大的不便，但是电子设备的屏幕出现上述显示缺陷时，大都只是偶然发生，并且，发生时持续时段多为一瞬或者极短的时间。即使用户通过网络向服务云平台等进行显示缺陷上报，再通过网络获取电子设备的显示处理单元的相关运行状态参数，但所获取的运行状态参数往往都已经丢失了关键信息，无法定位显示缺陷的具体原因，因此，当电子设备出现黑屏、闪屏、花屏或高斯模糊失效等现象时，对于电子设备的供应商而言，很难获取出现上述缺陷的具体原因，导致这类问题一直很难解决。
发明内容
本公开提供一种屏幕显示监控方法及装置、电子设备、存储介质。
根据本公开实施例的第一方面，提供一种屏幕显示监控方法，包括：
检测到第一事件时，生成屏幕的录制指令；
响应于所述录制指令，为所述屏幕创建录屏虚拟设备以及图层传输接口；
触发所述录屏虚拟设备采集所述屏幕的显示图层数据，通过所述图层传输接口将所述显示图层数据向多媒体模块发送，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据；
对所述图像视频数据进行分析，确定所述屏幕的图像显示是否存在显示缺陷；
在所述屏幕存在显示缺陷时，获取支持所述屏幕显示的处理单元的状态参数，将所述显示缺陷信息及所述状态参数向指定的端口发送。
可选的，所述检测到第一事件，包括：
检测到脏区域在显示区域的占比超出第一设定阈值，持续时间达到设定时段；或
检测到运行的应用数量超出第二设定阈值。
可选的，所述为所述屏幕创建录屏虚拟设备以及图层传输接口，包括：
通过系统服务线程调用媒体投影线程，利用所述媒体投影线程为所述屏幕创建所述录屏虚拟设备；
调用媒体编解码器接口线程，为所述录屏虚拟设备创建图层传输接口Surface。
可选的，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据，包括：
所述多媒体模块基于所述Surface获取所述录屏虚拟设备的所述屏幕的显示图层数据，将所述屏幕的显示图层数据渲染合并为所述图像视频数据。
可选的，所述对所述图像视频数据进行分析之前，所述方法还包括：
获取来自于不同电子设备的存在显示缺陷的图像视频数据，以及出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；或获取本地存在显示缺陷的图像视频数据，出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；
将所获取的所述存在显示缺陷的图像视频数据、以及支持所述屏幕显示的处理单元的状态参数输入屏幕显示分析初级模型，通过所述屏幕显示分析初级模型对训练数据进行训练分析，生成训练分析结果；
基于所述训练分析结果调整所述屏幕显示分析初级模型的分析参数，将调整完分析参数的所述屏幕显示分析初级模型作为屏幕显示分析模型。
可选的，所述方法还包括：
所述屏幕显示分析模型获取所述图像视频数据后，逐图像帧进行数据识别，确定所述图像视频数据中是否存在显示缺陷；
存在显示缺陷时调用录制所述图像视频数据时对应的所述支持所述屏幕显示的处理单元的状态参数，将所述支持所述屏幕显示的处理单元的状态参数与所述屏幕显示分析模型中已训练的与所确定的所述显示缺陷对应的支持所述屏幕显示的处理单元的状态参数模型进行匹配，满足匹配条件时输出显示缺陷的信息。
可选的，所述支持所述屏幕显示的处理单元的状态参数包括以下参数的至少之一：
出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息。
可选的，所述方法包括：
通过所述指定的端口接收基于所述处理单元的状态参数确定的所述屏幕的显示缺陷的解决方案，基于所述解决方案对所述屏幕显示的处理单元的相关参数进行配置。
根据本公开实施例的第二方面，提供一种屏幕显示监控装置，包括：
检测单元，用于检测到第一事件；
生成单元，用于在检测到所述第一事件时，生成屏幕的录制指令；
创建单元，用于响应所述录制指令，为所述屏幕创建录屏虚拟设备以及图层传输接口；
触发单元，用于触发所述录屏虚拟设备采集所述屏幕的显示图层数据，通过所述图层传输接口将所述显示图层数据向多媒体模块发送，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据；
缺陷分析单元，用于获取所述图像视频数据，对所述图像视频数据进行分析，确定所述屏幕的图像显示是否存在显示缺陷；
获取单元，用于在所述屏幕存在显示缺陷时，获取支持所述屏幕显示的处理单元的状态参数；
发送单元，用于将所述显示缺陷信息及所述状态参数向指定的端口发送。
可选的，所述检测单元，还用于：
检测到脏区域在显示区域的占比超出第一设定阈值，持续时间达到设定时段，确定为检测到所述第一事件；或
检测到运行的应用数量超出第二设定阈值，确定为检测到所述第一事件。
可选的，所述创建单元，还用于：
通过系统服务线程调用媒体投影线程，利用所述媒体投影线程为所述屏幕创建所述录屏虚拟设备；
调用媒体编解码器接口线程，为所述录屏虚拟设备创建图层传输接口Surface。
可选的，所述多媒体模块基于所述Surface获取所述录屏虚拟设备的所述屏幕的显示图层数据，将所述屏幕的显示图层数据渲染合并为所述图像视频数据。
可选的，所述缺陷分析单元，还包括：
屏幕显示分析模型，用于获取来自于不同电子设备的存在显示缺陷的图像视频数据，以及出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；或获取本地存在显示缺陷的图像视频数据，出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；将所获取的所述存在显示缺陷的图像视频数据、以及支持所述屏幕显示的处理单元的状态参数输入屏幕显示分析初级模型，通过所述屏幕显示分析初级模型对训练数据进行训练分析，生成训练分析结果；基于所述训练分析结果调整所述屏幕显示分析初级模型的分析参数，调整完分析参数的所述屏幕显示分析初级模型作为所述屏幕显示分析模型。
可选的，所述屏幕显示分析模型，还用于获取所述图像视频数据后，逐图像帧进行数据识别，确定所述图像视频数据中是否存在显示缺陷；存在显示缺陷时调用录制所述图像视频数据时对应的所述支持所述屏幕显示的处理单元的状态参数，将所述支持所述屏幕显示的处理单元的状态参数与所述屏幕显示分析模型中已训练的与所确定的所述显示缺陷对应的支持所述屏幕显示的处理单元的状态参数模型进行匹配，满足匹配条件时输出显示缺陷的信息。
可选的，所述支持所述屏幕显示的处理单元的状态参数包括以下参数的至少之一：
出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息。
可选的，所述装置包括：
接收单元，用于通过所述指定的端口接收基于所述处理单元的状态参数确定的所述屏幕的显示缺陷的解决方案；
配置单元，用于基于所述解决方案对所述屏幕显示的处理单元的相关参数进行配置。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器和用于存储处理器可执行指令的存储器，其中，所述处理器被配置为在调用存储器中的可执行指令时，能够执行上述的屏幕显示监控方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的屏幕显示监控方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开的实施例中，确定电子设备的用户在高频使用时，或屏幕的脏区域占比一直较大且持续时间段较长时，主动对电子设备的屏幕进行录制，并在电子设备本地对所录制的屏幕的视频流进行分析，确定屏幕在用户使用过程中是否出现过黑屏、闪屏、花屏或高斯模糊失效等显示缺陷，当确定屏幕出现黑屏、闪屏、花屏或高斯模糊失效等显示缺陷时，及时获取出现缺陷时的寄存器、显示器、图形处理单元（GPU，Graphics Processing Unit）等的运行状态信息，将显示缺陷信息及运行状态信息向指定的云服务器进行上报，由云服务器的缺陷分析系统进行原因分析，或交由开发人员基于所收集到的相关信息进行缺陷分析，为电子设备确定出相应的解决方案，如果显示缺陷仅是由软件导致的，对相应的软件进行参数配置，通过向电子设备推送相应的升级包进行显示缺陷克服。涉及硬件的，可以在今后的电子设备配置中更改硬件设置，或为电子设备用户提供相应的硬件更换，也可以通过向电子设备的用户发送邮件或打电话等通知电子设备的用户采取相应的措施，提升电子设备的屏幕显示质量。本公开实施例通过为电子设备提供一种显示缺陷的监控方式，实现了对电子设备的屏幕显示缺陷的监控，并能通过本地或云服务器端为用户提供相应的解决方案，从而提升了电子设备的显示品质，保证了电子设备的设计质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本公开实施例示出的一种屏幕显示监控方法流程示意图。
图2为本公开实施例示出的一种屏幕录制流程示意图。
图3为本公开实施例示出的一种显示缺陷分析流程示意图。
图4为本公开实施例示出的一种屏幕显示监控装置的组成结构示意图。
图5为本公开实施例示出的电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1为本公开实施例示出的一种屏幕显示监控方法流程示意图，如图1所示，本公开实施例的屏幕显示监控方法包括以下步骤：
S11、检测到第一事件时，生成屏幕的录制指令。
在本公开的实施例中，电子设备可以是手机、游戏机、可穿戴式设备、虚拟现实设备、个人数字助理、笔记本电脑、平板电脑或电视终端等。
当电子设备的屏幕的刷屏处理比较频繁且处理数据量较大时，开启录屏功能，对电子设备中的屏幕进行自动录制，在屏幕出现黑屏、闪屏、花屏或高斯模糊失效等显示缺陷的场景时，会动态打开调试开关，来抓取寄存器、显示器、GPU等状态。在电子设备较空闲的情况下，将显示缺陷信息及对应的寄存器、显示器、GPU等状态信息向指定的云服务器上传，这样，即可针对电子设备的显示缺陷确定导致显示缺陷的原因，从而为电子设备生成定制的解决方案，通过软件升级等方式克服电子设备的显示缺陷。并且，通过获取电子设备的屏幕显示缺陷的情况，还能为后续的研发提供相应的设计指导，避免电子设备由于设计不当导致显示缺陷。
在本公开的实施例中，所述检测到第一事件，包括：
检测到脏区域在显示区域的占比超出第一设定阈值，持续时间达到设定时段；或
检测到运行的应用数量超出第二设定阈值。
作为一种实现方式，如当脏区域在显示区域的占比超出45%，且持续时间达到5秒，即认为用户当前使用电子设备的屏幕比较频繁，这种情况可能会导致出现显示缺陷，即需要对屏幕进行录制。
在本公开的实施例中，脏区域（dirty region）是用来识别当前刚被更新的镜像区域，在安卓系统中，将图像显示到屏幕的过程中，需要对不同显示区域进行重绘，具体重绘刷新的部分就被称为dirtyRegion，即脏的可见区域，也就是要刷新的显示区域。
作为一种实现方式，也可以统计设定时段内如3秒内，脏区域在显示区域的占比超出45%的时段超过2秒，即认为用户当前使用电子设备的屏幕比较频繁，这种情况可能会导致出现显示缺陷，即需要对屏幕进行录制。
作为一种实现方式，检测到运行的应用数量超出第二设定阈值，如当前被用户开启的应用数量超过5个，即认为用户对电子设备的屏幕使用频繁，可能会导致出现前述的黑屏、闪屏、花屏或高斯模糊失效等显示缺陷。第一事件发生，需要对屏幕进行录制。
本公开实施例中，电子设备的屏幕只有在使用频繁的情况下，屏幕出现黑屏、闪屏、花屏、高斯模糊失效等问题的概率比较大，因此，只是在用户高频使用电子设备的时间段，才调用电子设备的屏幕录制功能，针对电子设备的屏幕进行视频录制。并且，可以根据电子设备的CPU的处理能力，为电子设备设定屏幕录制的时长，该录制时段可以设置为1-2秒、8-10秒等。
S12、响应于所述录制指令，为所述屏幕创建录屏虚拟设备以及图层传输接口。
在本公开的实施例中，当电子设备确定要启动屏幕录制功能时，响应于所述录制指令，为所述屏幕创建录屏虚拟设备以及图层传输接口，以对所述屏幕开启录制工作。
以安卓操作系统为例，电子设备的屏幕（Display）可以“投影”到一个录屏虚拟设备（VirtualDisplay）。通过调用系统服务线程（MediaProjectionManager）而取得的 媒体投影线程（MediaProjection），通过MediaProjection中的创建虚拟设备线程（createVirtualDisplay）创建VirtualDisplay，作为屏虚拟设备。
S13、触发所述录屏虚拟设备采集所述屏幕的显示图层数据，通过所述图层传输接口将所述显示图层数据向多媒体模块发送，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据。
在本公开的实施例中，当创建完成所述录屏虚拟设备后，即可通过所述录屏虚拟设备对所述屏幕进行录制，即可同步获取向所述屏幕输出的图层数据，该图层数据是用来在所述屏幕显示的图像数据，通过相应的多媒体模块的处理如渲染合并处理等即可将其生成屏幕显示图像，从而在所述屏幕上显示。
VirtualDisplay接收所述屏幕的图层数据，会将图层数据渲染到Surface中，而这个Surface是由媒体编解码线程（MediaCodec）所创建。MediaCodec将所接收的屏幕录制的图层数据封装并输出到MP4文件中，形成图像视频数据。
S14、对所述图像视频数据进行分析，确定所述屏幕的图像显示是否存在显示缺陷。
在本公开的实施例中，通过在电子设备中设置屏幕显示分析模型，以对所述屏幕是否出现显示缺陷如黑屏、闪屏、花屏或高斯模糊失效等进行分析，以便在出现上述显示缺陷时，动态打开电子设备的调试开关，来抓取寄存器、显示器、GPU等的运行状态的参数，从而作为显示缺陷分析的素材，以便基于电子设备上报的数据准确确定出现屏幕显示缺陷的具体原因，从而能够为电子设备生成个性化的解决方案，解决电子设备的屏幕显示缺陷。
S15、在所述屏幕存在显示缺陷时，获取支持所述屏幕显示的处理单元的状态参数，将所述显示缺陷信息及所述状态参数向指定的端口发送。
在本公开实施例中，所述屏幕存在显示缺陷时，还需要对支持所述屏幕显示的处理单元的运行状态进行监控，以便通过这些处理单元的运行状态参数来确定所述屏幕的显示缺陷出现的具体原因，方便云服务器端基于这些处理单元的运行状态参数来具体分析显示缺陷出现的具体原因。
在出现上述显示缺陷时，动态打开电子设备的调试开关，来抓取寄存器、显示器、GPU等的运行状态的信息，将显示缺陷信息及运行状态信息向指定的云服务器进行上报，由云服务器的缺陷分析系统进行原因分析，或交由开发人员基于所收集到的相关信息进行缺陷分析，为电子设备确定出相应的解决方案，如果显示缺陷仅是由软件导致的，对相应的软件进行参数配置，通过向电子设备推送相应的升级包进行显示缺陷克服。涉及硬件的，可以在今后的电子设备配置中更改硬件设置，或为电子设备用户提供相应的硬件更换，也可以通过向电子设备的用户发送邮件或打电话等通知电子设备的用户采取相应的措施，提升电子设备的屏幕显示质量。
在本公开实施例中，对所述图像视频数据进行分析之前，所述方法还包括：
获取来自于不同电子设备的存在显示缺陷的图像视频数据，以及出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息；将所收集的所述存在显示缺陷的图像视频数据、以及对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息作为训练数据输入屏幕显示分析初级模型，通过所述屏幕显示分析初级模型对训练数据进行训练分析，生成训练分析结果；基于所述训练分析结果调整所述屏幕显示分析初级模型的分析参数，将调整完分析参数的所述屏幕显示分析初级模型作为屏幕显示分析模型。
出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息中的至少之一即为本公开实施例的支持所述屏幕显示的处理单元的状态参数。
这里，相关的训练数据可以是由开发人员导入电子设备中，由电子设备在本地进行机器学习，从而生成屏幕显示分析模型。或者，作为一种可替代的方式，也可以在电子设备之外的其他电子设备中基于机器学习的方式生成屏幕显示分析模型，将所述屏幕显示分析模型导入本公开实施例的电子设备中。
也就是说，在电子设备出厂之前，还需要在电子设备中设置屏幕显示分析模型，以便对电子设备的屏幕录制后，基于所录制的图像视频数据进行黑屏、闪屏、花屏或高斯模糊失效等的确认，以确定电子设备在使用过程中是否出现过上述显示缺陷。具体地，可以根据之前收集到的显示缺陷的图像视频数据，出现显示缺陷时的显示器、图形处理器的运行状态信息、寄存器占用状态信息，将所收集的显示缺陷的相关数据作为训练数据，通过神经网络等对训练数据进行智能运算，确定出屏幕显示分析模型，以此作为对屏幕是否出现显示缺陷的场景进行判断，以此来提升屏幕的显示缺陷的自动识别。
并且，电子设备中配置的屏幕显示分析模型，还可以通过网络如云服务器端下载新的训练数据，进行自动学习，以进一步提升屏幕显示分析模型的显示缺陷的识别准确率。
或者，作为一种实现方式，获取本地存在显示缺陷的图像视频数据，出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；将所获取的所述存在显示缺陷的图像视频数据、以及支持所述屏幕显示的处理单元的状态参数输入屏幕显示分析初级模型，通过所述屏幕显示分析初级模型对训练数据进行训练分析，生成训练分析结果；基于所述训练分析结果调整所述屏幕显示分析初级模型的分析参数，将调整完分析参数的所述屏幕显示分析初级模型作为屏幕显示分析模型。
也就是说，在电子设备出厂之前，还需要在电子设备中设置屏幕显示分析模型，由屏幕显示分析模型不断地获取本地的显示缺陷的图像视频数据，出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数，并进行训练学习，以便对电子设备的屏幕录制后，基于所录制的图像视频数据进行黑屏、闪屏、花屏或高斯模糊失效等的确认，以确定电子设备在使用过程中是否出现过上述显示缺陷。具体地，可以根据所收集到的显示缺陷的图像视频数据，出现显示缺陷时的显示器、图形处理器的运行状态信息、寄存器占用状态信息，将所收集的显示缺陷的相关数据作为训练数据，通过自身的训练算法模型等对训练数据进行训练，从而对屏幕显示分析模型不断完善，以此来提升屏幕的显示缺陷的自动识别准确率。
在本公开实施例中，所述屏幕显示分析模型获取所述图像视频数据后，逐图像帧进行数据识别，确定所述图像视频数据中是否存在显示缺陷；存在显示缺陷时调用录制所述图像视频数据时对应的所述支持所述屏幕显示的处理单元的状态参数，将所述支持所述屏幕显示的处理单元的状态参数与所述屏幕显示分析模型中已训练的与所确定的所述显示缺陷对应的支持所述屏幕显示的处理单元的状态参数模型进行匹配，满足匹配条件时输出显示缺陷的信息。
图2为本公开实施例示出的一种屏幕录制流程示意图，本示例以电子设备中安装安卓操作系统为例进行阐述。需要说明的是，基于本公开实施例的技术方案的实质，也可以应用于其他操作系统中。如图2所示，本公开实施例的屏幕录制流程包括以下步骤：
步骤S21、Android启动创建miui screen recorder service。
当检测到第一事件发生时，如当脏区域在显示区域的占比超出45%，且持续时间达到5秒，即认为用户当前使用电子设备的屏幕比较频繁，这种情况可能会导致出现显示缺陷，第一事件发生，即需要对屏幕进行录制。
或者，也可以统计设定时段内如3秒内，脏区域在显示区域的占比超出45%的时段超过2秒，即认为用户当前使用电子设备的屏幕比较频繁，这种情况可能会导致出现显示缺陷，第一事件发生，即需要对屏幕进行录制。
或者，检测到运行的应用数量超出第二设定阈值，如当前被用户开启的应用数量超过5个，即认为用户对电子设备的屏幕使用频繁，可能会导致出现前述的黑屏、闪屏、花屏或高斯模糊失效等显示缺陷。第一事件发生，需要对屏幕进行录制。
步骤S22、通过MediaProjection创建VirtualDisplay，用来实时获取屏幕中正在显示的内容。
电子设备的屏幕（Display）可以“投影”到一个录屏虚拟设备（VirtualDisplay）。通过调用系统服务线程（MediaProjectionManager）而取得的 媒体投影线程（MediaProjection），通过MediaProjection中的创建虚拟设备线程（createVirtualDisplay）创建VirtualDisplay，作为屏虚拟设备。
步骤S23、VirtualDisplay会将图像渲染到Surface中，而这个Surface是由MediaCodec所创建的。
VirtualDisplay接收所述屏幕的图层数据，会将图层数据渲染到Surface中，而这个Surface是由媒体编解码线程（MediaCodec）所创建。
步骤S24、MediaMuxer将从MediaCodec得到的图层数据封装并输出到MP4文件中。
MediaCodec将所接收的屏幕录制的图层数据封装并输出到MP4文件中，形成图像视频数据。
步骤S25、采取基于机器学习的本地视频流分析，确定是否出现显示缺陷。
具体地，获取来自于不同电子设备的存在显示缺陷的图像视频数据，以及出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息；或获取本地存在显示缺陷的图像视频数据，出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息；将所获取的所述存在显示缺陷的图像视频数据、以及对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息作为训练数据输入屏幕显示分析初级模型，通过所述屏幕显示分析初级模型对训练数据进行训练分析，生成训练分析结果；基于所述训练分析结果调整所述屏幕显示分析初级模型的分析参数，将调整完分析参数的所述屏幕显示分析初级模型作为屏幕显示分析模型，利用所述屏幕显示分析模型对所述图像视频数据进行分析。
这里，相关的训练数据可以是由开发人员导入电子设备中，由电子设备在本地进行机器学习，从而生成屏幕显示分析模型。或者，基于电子设备本地收集的存在显示缺陷的图像视频数据，以及出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息，基于事先设置的训练模型进行训练，从而不断更新本地的屏幕显示分析模型。或者，作为一种可替代的方式，也可以在电子设备之外的其他电子设备中基于机器学习的方式生成屏幕显示分析模型，将所述屏幕显示分析模型导入本公开实施例的电子设备中。
也就是说，在电子设备出厂之前，还需要在电子设备中设置屏幕显示分析模型，以便对电子设备的屏幕录制后，基于所录制的图像视频数据进行黑屏、闪屏、花屏或高斯模糊失效等的确认，以确定电子设备在使用过程中是否出现过上述显示缺陷。具体地，可以根据之前收集到的显示缺陷的图像视频数据，出现显示缺陷时的显示器、图形处理器的运行状态信息、寄存器占用状态信息，将所收集的显示缺陷的相关数据作为训练数据，通过神经网络等对训练数据进行智能运算，确定出屏幕显示分析模型，以此作为对屏幕是否出现显示缺陷的场景进行判断，以此来提升屏幕的显示缺陷的自动识别准确率。
所述屏幕显示分析模型获取所述图像视频数据后，逐图像帧进行数据识别，确定所述图像视频数据中是否存在显示缺陷；
存在显示缺陷时调用录制所述图像视频数据时对应的所述支持所述屏幕显示的处理单元的状态参数，将所述支持所述屏幕显示的处理单元的状态参数与所述屏幕显示分析模型中已训练的与所确定的所述显示缺陷对应的支持所述屏幕显示的处理单元的状态参数模型进行匹配，满足匹配条件时输出显示缺陷的信息。
作为一种实现方式，电子设备中配置的屏幕显示分析模型，还可以通过网络如云服务器端下载新的训练数据，进行自动学习，以进一步提升屏幕显示分析模型的显示缺陷的识别准确率。
图3为本公开实施例示出的一种显示缺陷分析流程示意图，如图3所示，本公开实施例的显示缺陷分析流程包括以下步骤：
步骤S31、智能业务系统（MIUI AI servive） 加载训练好的模型。
电子设备中设置前述的屏幕显示分析模型，以便在录制了屏幕显示视频流后，确定是否出现显示缺陷。
步骤S32、定时从指定目录中抓取MP4视频流。
本公开实施例中，当录屏虚拟设备进行屏幕录制后，生成图像视频数据，将所录制的图像视频数据（如可以为MP4视频流）存储于设定的目录中，以便屏幕显示分析模型在进行显示缺陷分析时，直接到该目录中读取。
步骤S33、根据视频内容确定显示缺陷，并输出。
本公开实施例中，显示缺陷的输出包括1.正常2.黑屏3.闪黑屏4.花屏5.高斯模糊失效等情形。正常时结束当前的处理流程，而当出现黑屏、闪黑屏、花屏、高斯模糊失效等情形时，需要抓取寄存器状态，显示器状态，GPU状态等信息。
步骤S34、出现异常时，动态开启调试信息，抓取寄存器状态，显示器状态，GPU状态等。
自动获取出现显示缺陷时的显示器、图形处理器的运行状态信息、寄存器占用状态信息，以便准确确定出现显示缺陷的具体原因。
步骤S35、将结果上传至网络侧，及时分析以及解决问题。
将显示缺陷及出现显示缺陷时的显示器、图形处理器的运行状态信息、寄存器占用状态信息，通过设定的端口上传至网络侧，即上传至电子设备提供商指定的云服务器或相应的网站。
图4为本公开实施例示出的一种屏幕显示监控装置的组成结构示意图，如图4所示，本公开实施例的屏幕显示监控装置包括：
检测单元41，用于检测到第一事件；
生成单元42，用于在检测到所述第一事件时，生成屏幕的录制指令；
创建单元43，用于响应所述录制指令，为所述屏幕创建录屏虚拟设备以及图层传输接口；
触发单元44，用于触发所述录屏虚拟设备采集所述屏幕的显示图层数据，通过所述图层传输接口将所述显示图层数据向多媒体模块发送，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据；
缺陷分析单元45，用于获取所述图像视频数据，对所述图像视频数据进行分析，确定所述屏幕的图像显示是否存在显示缺陷；
获取单元46，用于在所述屏幕存在显示缺陷时，获取支持所述屏幕显示的处理单元的状态参数；
发送单元47，用于将所述显示缺陷信息及所述状态参数向指定的端口发送。
可选的，所述检测单元41，还用于：
检测到脏区域在显示区域的占比超出第一设定阈值，持续时间达到设定时段，确定为检测到所述第一事件；或
检测到运行的应用数量超出第二设定阈值，确定为检测到所述第一事件。
可选的，所述创建单元43，还用于：
通过系统服务线程调用媒体投影线程，利用所述媒体投影线程为所述屏幕创建所述录屏虚拟设备；
调用媒体编解码器接口线程，为所述录屏虚拟设备创建图层传输接口Surface。
可选的，所述多媒体模块基于所述Surface获取所述录屏虚拟设备的所述屏幕的显示图层数据，将所述屏幕的显示图层数据渲染合并为所述图像视频数据。
可选的，所述缺陷分析单元45，还包括：
屏幕显示分析模型，用于获取来自于不同电子设备的存在显示缺陷的图像视频数据，以及出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；或获取本地存在显示缺陷的图像视频数据，出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；将所获取的所述存在显示缺陷的图像视频数据、以及支持所述屏幕显示的处理单元的状态参数输入屏幕显示分析初级模型，通过所述屏幕显示分析初级模型对训练数据进行训练分析，生成训练分析结果；基于所述训练分析结果调整所述屏幕显示分析初级模型的分析参数，调整完分析参数的所述屏幕显示分析初级模型作为所述屏幕显示分析模型。
可选的，所述屏幕显示分析模型，还用于获取所述图像视频数据后，逐图像帧进行数据识别，确定所述图像视频数据中是否存在显示缺陷；存在显示缺陷时调用录制所述图像视频数据时对应的所述支持所述屏幕显示的处理单元的状态参数，将所述支持所述屏幕显示的处理单元的状态参数与所述屏幕显示分析模型中已训练的与所确定的所述显示缺陷对应的支持所述屏幕显示的处理单元的状态参数模型进行匹配，满足匹配条件时输出显示缺陷的信息。
可选的，所述支持所述屏幕显示的处理单元的状态参数包括以下参数的至少之一：
出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息。
可选的，在图4所示的屏幕显示监控装置的基础上，本公开实施例的屏幕显示监控装置还包括：
接收单元（图4中未示出），用于通过所述指定的端口接收基于所述处理单元的状态参数确定的所述屏幕的显示缺陷的解决方案；
配置单元（图4中未示出），用于基于所述解决方案对所述屏幕显示的处理单元的相关参数进行配置。
关于上述实施例中的装置，其中各个模块及单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5为根据一示例性实施例示出的一种电子设备800的框图，如图5所示，电子设备800支持多屏输出，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出（I/O）的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风（MIC），当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例的电子设备的屏幕录制方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述实施例的电子设备的屏幕录制方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还记载了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行控制方法，所述方法包括：
检测到第一事件时，生成屏幕的录制指令；
响应于所述录制指令，为所述屏幕创建录屏虚拟设备以及图层传输接口；
触发所述录屏虚拟设备采集所述屏幕的显示图层数据，通过所述图层传输接口将所述显示图层数据向多媒体模块发送，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据；
对所述图像视频数据进行分析，确定所述屏幕的图像显示是否存在显示缺陷；
在所述屏幕存在显示缺陷时，获取支持所述屏幕显示的处理单元的状态参数，将所述显示缺陷信息及所述状态参数向指定的端口发送。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (18)
1.一种屏幕显示监控方法，其特征在于，所述方法包括：
检测到第一事件时，生成屏幕的录制指令；
响应于所述录制指令，为所述屏幕创建录屏虚拟设备以及图层传输接口；
触发所述录屏虚拟设备采集所述屏幕的显示图层数据，通过所述图层传输接口将所述显示图层数据向多媒体模块发送，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据；
对所述图像视频数据进行分析，确定所述屏幕的图像显示是否存在显示缺陷；
在所述屏幕存在显示缺陷时，获取支持所述屏幕显示的处理单元的状态参数，将所述显示缺陷信息及所述状态参数向指定的端口发送。
2.根据权利要求1所述的方法，其特征在于，所述检测到第一事件，包括：
检测到脏区域在显示区域的占比超出第一设定阈值，持续时间达到设定时段；或
检测到运行的应用数量超出第二设定阈值。
3.根据权利要求1所述的方法，其特征在于，所述为所述屏幕创建录屏虚拟设备以及图层传输接口，包括：
通过系统服务线程调用媒体投影线程，利用所述媒体投影线程为所述屏幕创建所述录屏虚拟设备；
调用媒体编解码器接口线程，为所述录屏虚拟设备创建图层传输接口Surface。
4.根据权利要求3所述的方法，其特征在于，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据，包括：
所述多媒体模块基于所述Surface获取所述录屏虚拟设备的所述屏幕的显示图层数据，将所述屏幕的显示图层数据渲染合并为所述图像视频数据。
5.根据权利要求1所述的方法，其特征在于，所述对所述图像视频数据进行分析之前，所述方法还包括：
获取来自于不同电子设备的存在显示缺陷的图像视频数据，以及出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；或获取本地存在显示缺陷的图像视频数据，出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；
将所获取的所述存在显示缺陷的图像视频数据、以及支持所述屏幕显示的处理单元的状态参数输入屏幕显示分析初级模型，通过所述屏幕显示分析初级模型对训练数据进行训练分析，生成训练分析结果；
基于所述训练分析结果调整所述屏幕显示分析初级模型的分析参数，将调整完分析参数的所述屏幕显示分析初级模型作为屏幕显示分析模型。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
所述屏幕显示分析模型获取所述图像视频数据后，逐图像帧进行数据识别，确定所述图像视频数据中是否存在显示缺陷；
存在显示缺陷时调用录制所述图像视频数据时对应的所述支持所述屏幕显示的处理单元的状态参数，将所述支持所述屏幕显示的处理单元的状态参数与所述屏幕显示分析模型中已训练的与所确定的所述显示缺陷对应的支持所述屏幕显示的处理单元的状态参数模型进行匹配，满足匹配条件时输出显示缺陷的信息。
7.根据权利要求5或6所述的方法，其特征在于，所述支持所述屏幕显示的处理单元的状态参数包括以下参数的至少之一：
出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息。
8.根据权利要求1所述的方法，其特征在于，所述方法包括：
通过所述指定的端口接收基于所述处理单元的状态参数确定的所述屏幕的显示缺陷的解决方案，基于所述解决方案对所述屏幕显示的处理单元的相关参数进行配置。
9.一种屏幕显示监控装置，其特征在于，所述装置包括：
检测单元，用于检测到第一事件；
生成单元，用于在检测到所述第一事件时，生成屏幕的录制指令；
创建单元，用于响应所述录制指令，为所述屏幕创建录屏虚拟设备以及图层传输接口；
触发单元，用于触发所述录屏虚拟设备采集所述屏幕的显示图层数据，通过所述图层传输接口将所述显示图层数据向多媒体模块发送，所述多媒体模块将所述显示图层数据渲染合并为图像视频数据；
缺陷分析单元，用于获取所述图像视频数据，对所述图像视频数据进行分析，确定所述屏幕的图像显示是否存在显示缺陷；
获取单元，用于在所述屏幕存在显示缺陷时，获取支持所述屏幕显示的处理单元的状态参数；
发送单元，用于将所述显示缺陷信息及所述状态参数向指定的端口发送。
10.根据权利要求9所述的装置，其特征在于，所述检测单元，还用于：
检测到脏区域在显示区域的占比超出第一设定阈值，持续时间达到设定时段，确定为检测到所述第一事件；或
检测到运行的应用数量超出第二设定阈值，确定为检测到所述第一事件。
11.根据权利要求9所述的装置，其特征在于，所述创建单元，还用于：
通过系统服务线程调用媒体投影线程，利用所述媒体投影线程为所述屏幕创建所述录屏虚拟设备；
调用媒体编解码器接口线程，为所述录屏虚拟设备创建图层传输接口Surface。
12.根据权利要求11所述的装置，其特征在于，所述多媒体模块基于所述Surface获取所述录屏虚拟设备的所述屏幕的显示图层数据，将所述屏幕的显示图层数据渲染合并为所述图像视频数据。
13.根据权利要求9所述的装置，其特征在于，所述缺陷分析单元，还包括：
屏幕显示分析模型，用于获取来自于不同电子设备的存在显示缺陷的图像视频数据，以及出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；或获取本地存在显示缺陷的图像视频数据，出现缺陷时对应的电子设备中支持所述屏幕显示的处理单元的状态参数；将所获取的所述存在显示缺陷的图像视频数据、以及支持所述屏幕显示的处理单元的状态参数输入屏幕显示分析初级模型，通过所述屏幕显示分析初级模型对训练数据进行训练分析，生成训练分析结果；基于所述训练分析结果调整所述屏幕显示分析初级模型的分析参数，调整完分析参数的所述屏幕显示分析初级模型作为所述屏幕显示分析模型。
14.根据权利要求13所述的装置，其特征在于，所述屏幕显示分析模型，还用于获取所述图像视频数据后，逐图像帧进行数据识别，确定所述图像视频数据中是否存在显示缺陷；存在显示缺陷时调用录制所述图像视频数据时对应的所述支持所述屏幕显示的处理单元的状态参数，将所述支持所述屏幕显示的处理单元的状态参数与所述屏幕显示分析模型中已训练的与所确定的所述显示缺陷对应的支持所述屏幕显示的处理单元的状态参数模型进行匹配，满足匹配条件时输出显示缺陷的信息。
15.根据权利要求13或14所述的装置，其特征在于，所述支持所述屏幕显示的处理单元的状态参数包括以下参数的至少之一：
出现缺陷时对应的电子设备中的显示器、图形处理器的运行状态信息、寄存器占用状态信息。
16.根据权利要求9所述的装置，其特征在于，所述装置包括：
接收单元，用于通过所述指定的端口接收基于所述处理单元的状态参数确定的所述屏幕的显示缺陷的解决方案；
配置单元，用于基于所述解决方案对所述屏幕显示的处理单元的相关参数进行配置。
17.一种电子设备，其特征在于，所述电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，所述处理器被配置为在调用存储器中的可执行指令时，能够执行如权利要求1至8中任一项所述的屏幕显示监控方法。
18.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至8中任一项所述的屏幕显示监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010428063.2A CN111340808A (zh) | 2020-05-20 | 2020-05-20 | 屏幕显示监控方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010428063.2A CN111340808A (zh) | 2020-05-20 | 2020-05-20 | 屏幕显示监控方法及装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111340808A true CN111340808A (zh) | 2020-06-26 |
Family
ID=71187579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010428063.2A Pending CN111340808A (zh) | 2020-05-20 | 2020-05-20 | 屏幕显示监控方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340808A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112162888A (zh) * | 2020-09-18 | 2021-01-01 | 深圳Tcl新技术有限公司 | 显示器黑屏的原因的确定方法、装置和计算机存储介质 |
| CN113068024A (zh) * | 2021-03-19 | 2021-07-02 | 瑞芯微电子股份有限公司 | 一种实时抓图分析方法及存储介质 |
| CN113269735A (zh) * | 2021-05-17 | 2021-08-17 | 深圳Tcl新技术有限公司 | 显示屏检测方法、系统及存储介质 |
| TWI826203B (zh) * | 2022-12-15 | 2023-12-11 | 技嘉科技股份有限公司 | 電腦裝置及顯示裝置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105306931A (zh) * | 2015-11-17 | 2016-02-03 | 小米科技有限责任公司 | 智能电视异常检测方法及装置 |
| CN105611330A (zh) * | 2015-12-24 | 2016-05-25 | Tcl集团股份有限公司 | 智能电视维护方法、系统及一种服务器、一种移动终端 |
| CN106791168A (zh) * | 2017-01-13 | 2017-05-31 | 北京奇虎科技有限公司 | 移动终端信息保护方法、装置和移动终端 |
| CN107966914A (zh) * | 2017-11-02 | 2018-04-27 | 珠海格力电器股份有限公司 | 显示图像的方法、装置和系统 |
| US20180342050A1 (en) * | 2016-04-28 | 2018-11-29 | Yougetitback Limited | System and method for detection of mobile device fault conditions |
| CN109815079A (zh) * | 2018-12-14 | 2019-05-28 | 平安普惠企业管理有限公司 | 问题反馈方法、装置、计算机设备及存储介质 |
| CN110910383A (zh) * | 2019-12-04 | 2020-03-24 | 江苏方天电力技术有限公司 | 基于红外图像识别的调相机故障监测方法和系统 |
-
2020
- 2020-05-20 CN CN202010428063.2A patent/CN111340808A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105306931A (zh) * | 2015-11-17 | 2016-02-03 | 小米科技有限责任公司 | 智能电视异常检测方法及装置 |
| CN105611330A (zh) * | 2015-12-24 | 2016-05-25 | Tcl集团股份有限公司 | 智能电视维护方法、系统及一种服务器、一种移动终端 |
| US20180342050A1 (en) * | 2016-04-28 | 2018-11-29 | Yougetitback Limited | System and method for detection of mobile device fault conditions |
| CN106791168A (zh) * | 2017-01-13 | 2017-05-31 | 北京奇虎科技有限公司 | 移动终端信息保护方法、装置和移动终端 |
| CN107966914A (zh) * | 2017-11-02 | 2018-04-27 | 珠海格力电器股份有限公司 | 显示图像的方法、装置和系统 |
| CN109815079A (zh) * | 2018-12-14 | 2019-05-28 | 平安普惠企业管理有限公司 | 问题反馈方法、装置、计算机设备及存储介质 |
| CN110910383A (zh) * | 2019-12-04 | 2020-03-24 | 江苏方天电力技术有限公司 | 基于红外图像识别的调相机故障监测方法和系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112162888A (zh) * | 2020-09-18 | 2021-01-01 | 深圳Tcl新技术有限公司 | 显示器黑屏的原因的确定方法、装置和计算机存储介质 |
| CN113068024A (zh) * | 2021-03-19 | 2021-07-02 | 瑞芯微电子股份有限公司 | 一种实时抓图分析方法及存储介质 |
| CN113068024B (zh) * | 2021-03-19 | 2024-04-16 | 瑞芯微电子股份有限公司 | 一种实时抓图分析方法及存储介质 |
| CN113269735A (zh) * | 2021-05-17 | 2021-08-17 | 深圳Tcl新技术有限公司 | 显示屏检测方法、系统及存储介质 |
| TWI826203B (zh) * | 2022-12-15 | 2023-12-11 | 技嘉科技股份有限公司 | 電腦裝置及顯示裝置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106970754B (zh) | 截屏处理的方法及装置 | |
| CN107526494B (zh) | 键盘显示方法、装置、终端及存储介质 | |
| CN111340808A (zh) | 屏幕显示监控方法及装置、电子设备、存储介质 | |
| EP3182716A1 (en) | Method and device for video display | |
| EP3163411A1 (en) | Method, device and apparatus for application switching | |
| US9800666B2 (en) | Method and client terminal for remote assistance | |
| EP3163884A1 (en) | Image acquiring method and apparatus, computer program and recording medium | |
| CN106766022B (zh) | 传感器控制方法及装置 | |
| CN110662095A (zh) | 投屏处理方法、装置、终端及存储介质 | |
| CN108965611B (zh) | 拍摄界面的切换方法、装置、设备及存储介质 | |
| CN111241890A (zh) | 指纹识别方法、装置、设备及存储介质 | |
| CN107158685B (zh) | 运动检验方法和装置 | |
| CN105786561B (zh) | 进程调用的方法及装置 | |
| CN112256563A (zh) | 安卓应用稳定性测试方法、装置、电子设备及存储介质 | |
| CN111338501A (zh) | 压感振动处理方法和装置、移动终端及电子设备 | |
| CN109255839B (zh) | 场景调整方法及装置 | |
| CN107402677B (zh) | 触控操作中识别手指抬起的方法、装置及终端 | |
| CN106060104B (zh) | 应用管理方法及装置 | |
| CN114661606A (zh) | 程序调试方法、装置、电子设备及存储介质 | |
| CN114186154A (zh) | 页面处理方法、装置、电子设备及存储介质 | |
| CN114217923A (zh) | 页面信息处理方法及装置 | |
| CN116347060A (zh) | 相机性能评估方法、装置、可读存储介质及系统 | |
| CN108427582B (zh) | 卡顿状态确定方法、装置及计算机可读存储介质 | |
| CN112817844A (zh) | 后台进程驻留测试方法、装置、设备及存储介质 | |
| CN107621990B (zh) | 终端按键的控制方法、装置及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200626 |