CN106060126A - 一种智能设备屏幕状态的远程自动识别方法和系统 - Google Patents

Abstract

本发明公开了一种智能设备屏幕状态的远程自动识别方法，其包括步骤：将与待检测智能设备唯一对应的身份识别码发送给服务端；服务端根据所述身份识别码生成具有时效性的身份标识图像；将该身份标识图像和随机的屏幕状态检测图像组合成校验图像在待检测智能设备上以充满其屏幕的方式显示；在身份标识图像的时效期内，采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端；服务端识别所述屏幕图像，以确认待检测智能设备的身份，并判断待检测智能设备的屏幕状态是否正常。此外，本发明还公开了一种实施上述方法的系统。本发明能远程自动识别用户声明的待检测智能设备的即时屏幕状态，整个流程完全自动化，尤其适应大规模在线业务。

Description

一种智能设备屏幕状态的远程自动识别方法和系统

技术领域

本发明涉及一种智能设备屏幕状态的识别方法和系统，尤其涉及一种智能设备屏幕状态的远程识别方法和系统。

背景技术

目前的手机、平板等智能设备已经成为人们日常生活中必不可少的一部分。随着智能设备的尺寸越做越大，屏幕损坏的几率也随着增大，而换一次屏幕往往代价很大，因而出现了越来越多的针对智能设备屏幕的延保或者保险业务。当用户需要购买此类服务时，服务提供商需要确认在用户购买行为发生时刻用户声明的智能设备的屏幕状态是正常的。状态正常的定义包括外观完整(即不能有破碎)，显示功能正常(可以正确显示符合预期的内容)，没有花屏、黑屏、闪烁等现象。对于线下销售的情形而言，智能设备的屏幕状态可以通过人工当面检查来进行验证。然而随着电子商务的便利性提升，越来越多的用户选择在线购买此类服务，对于提供该在线业务的服务提供商来说，如何远程判断用户声明的智能设备即时的屏幕状态，成了亟待解决的问题。

上述在线业务中，远程判断用户声明的智能设备(即待检测智能设备)屏幕是否损坏，需要通过用户采集待检测智能设备的屏幕图像(通常采用拍照的方式)并将该屏幕图像发送给服务提供商的服务端来进行验证。但是目前整个流程存在两个问题：(1)无法判断用户发送的智能设备屏幕图像是否代表用户声明的待检测智能设备的即时屏幕状态；(2)对于用户发送的待检测智能设备屏幕图像，需要有人工确认状态的过程，无法应对在线业务的大量需求。例如，一个简单的智能设备屏幕状态的远程自动识别方法包含如下步骤：用户拍摄显示其声明的智能设备的唯一身份识别码的照片并发送给服务提供商；服务提供商基于照片判断智能设备的屏幕状态并进行记录。在该方法中，存在着如下漏洞使服务提供商无法确认用户上传的照片是否代表用户声明的智能设备即时的屏幕状态：用户可以用其声明的智能设备以前的照片来代替当前的状态；用户可以用另外一台智能设备显示其声明的智能设备的身份识别信息截图甚至伪造显示页面来冒充其声明的智能设备。

针对上述问题，需要找到一种智能设备屏幕状态的识别方法，该方法能远程自动识别待检测智能设备屏幕状态，并且能判断用户发送的智能设备屏幕图像是否代表用户声明的待检测智能设备的即时屏幕状态，还能基于用户发送的智能设备屏幕图像自动识别待检测智能设备屏幕状态，使得整个流程完全自动化，以更好地适应大规模在线业务。

发明内容

本发明的目的之一是提供一种智能设备屏幕状态的远程自动识别方法，该方法能远程自动识别待检测智能设备屏幕状态，并且能判断用户发送的智能设备屏幕图像是否代表用户声明的待检测智能设备的即时屏幕状态，还能基于用户发送的智能设备屏幕图像自动识别待检测智能设备屏幕状态，使得整个流程完全自动化，以更好地适应大规模在线业务。

根据上述目的，本发明提出了一种智能设备屏幕状态的远程自动识别方法，其包括步骤：

将与待检测智能设备唯一对应的身份识别码发送给服务端；

服务端根据所述身份识别码生成具有时效性的身份标识图像，并将该身份标识图像和随机的屏幕状态检测图像发送给待检测智能设备，待检测智能设备将所述身份标识图像和屏幕状态检测图像组合成校验图像；或者服务端根据所述身份识别码生成具有时效性的身份标识图像，并将该身份标识图像和随机的屏幕状态检测图像组合成校验图像后发送给待检测智能设备；

将所述校验图像以充满待检测智能设备屏幕的方式显示在待检测智能设备的屏幕上；

在身份标识图像的时效期内，采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端；

服务端识别所述屏幕图像，以确认待检测智能设备的身份，并判断待检测智能设备的屏幕状态是否正常。

本发明所述的智能设备屏幕状态的远程自动识别方法，其可用于用户与服务提供商之间的涉及智能设备屏幕状态在线识别的在线业务。该方法通过一服务端(该服务端可以由服务提供商提供)与用户进行远程数据交换，以实现对用户声明的待检测智能设备的即时屏幕状态的判断。该方法通常要求用户在其声明的待检测智能设备上运行一程序，所述服务端上也运行有相应的程序，所述待检测智能设备和所述服务端通过其上运行的程序被配置为按照本发明所述方法中的步骤进行远程数据交换，以实现对用户声明的待检测智能设备的即时屏幕状态的判断。

上述方案中，可以通过程序的设置，使得一旦所述待检测智能设备开始运行程序，其与服务端之间的数据交换步骤便不可打断，从而保证数据交换只在所述服务端与用户声明的待检测智能设备之间即时进行，进而保证本发明的方法是对用户声明的待检测智能设备的即时屏幕状态的判断。具体来说，当用户声明的所述待检测智能设备和服务端开始运行程序，进行以下不可打断的步骤：服务端获取与待检测智能设备唯一对应的身份识别码，并根据所述身份识别码生成具有时效性的身份标识图像；将该身份标识图像和随机的屏幕状态检测图像组合成校验图像在待检测智能设备上以充满其屏幕的方式显示；在身份标识图像的时效期内，采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端(通常由用户使用其自备的与所述服务端数据连接的图像采集装置完成)；服务端识别所述屏幕图像，该识别包括对具有时效性的身份标识图像进行验证，以确认待检测智能设备的身份，并判断待检测智能设备的屏幕状态是否正常。由于上述步骤不可打断，可以保证所述身份识别码、身份标识图像、校验图像以及屏幕图像均与所述待检测智能设备对应，同时由于上述步骤需要在所述身份标识图像的时效期内完成，因此屏幕状态的判断是即时的。这样做的好处在于一旦用户声明的所述待检测智能设备和服务端开始运行程序，用户无法从其数据交换中获取数据用于另一台智能设备，从而防止用户用另一台智能设备冒充其声明的待检测智能设备；同时，防止用户用其声明的所述待检测智能设备以前的屏幕图像来代替当前的屏幕图像。

上述方案中，所述校验图像包括所述身份标识图像和所述屏幕状态检测图像；所述屏幕图像是所述校验图像所成的像，可通过图像采集装置实现。通过在待检测智能设备上以充满其屏幕的方式显示所述校验图像，使得所述屏幕图像可以包含整个屏幕状态的信息，包括所述身份标识图像的信息和所述屏幕状态检测图像的信息。服务端识别所述屏幕图像，通过识别其包含的所述身份标识图像的信息并与所述身份识别码相应的信息比对以确认待检测智能设备的身份，同时通过识别其包含的所述屏幕状态检测图像的信息并与之前随机选择的所述屏幕状态检测图像相应的信息比对以判断待检测智能设备的屏幕状态是否正常。所述身份识别码通常为硬件信息码，如IMEI(国际移动设备标识)、Wi-Fi/蓝牙适配器的MAC地址等等。

关于所述随机的屏幕状态检测图像，其可由所述服务端从预先准备的屏幕状态检测图像集合中随机选择。不同于传统屏幕检测需要用大量标准图片来检测屏幕性能，本发明的方法中只需要确认屏幕功能是否正常，因此只需要一张经过设计或者适当挑选的图像即可。

关于所述校验图像，其由所述身份标识图像和所述随机的屏幕状态检测图像组合成，是出于同时验证用户发送的智能设备屏幕图像是否代表用户声明的待检测智能设备及其即时屏幕状态的考虑。其中，所述身份标识图像用于验证用户发送的智能设备屏幕图像代表的智能设备的身份，所述随机的屏幕状态检测图像用于验证用户发送的智能设备屏幕图像代表的智能设备的即时屏幕状态。所述身份标识图像和所述随机的屏幕状态检测图像的合成方案是将所述身份标识图像置于所述随机的屏幕状态检测图像之上且小于所述随机的屏幕状态检测图像。为了加强所述校验图像的唯一性和难复制性，可对所述身份标识图像在所述随机的屏幕状态检测图像上出现的位置和大小进行随机处理，此时，后续服务端识别所述屏幕图像时，所述身份标识图像的位置和大小也要校验是否一致。

综上可知，本发明所述方法能远程自动识别待检测智能设备屏幕状态，并且能判断用户发送的智能设备屏幕图像是否代表用户声明的待检测智能设备的即时屏幕状态，同时基于用户发送的智能设备屏幕图像自动识别待检测智能设备屏幕状态，使得整个流程完全自动化，以更好地适应大规模在线业务。

本发明所述方法中，所述智能设备可以是所有具备屏幕、可连接互联网的智能设备，包括但不限于智能手机、平板电脑、笔记本电脑、智能手表等智能设备。

进一步地，本发明所述的智能设备屏幕状态的远程自动识别方法中，所述身份识别码被加密后发送给服务端。

上述方案中，为了防止隐私泄露，对所述身份识别码进行加密后再发送给服务端，服务端根据加密后的身份识别码生成具有时效性的身份标识图像，因此该身份标识图像不包括任何明文设备信息。由于加密算法具有单向映射的性质，所以加密后的信息仍然可以唯一标识智能设备身份。

进一步地，本发明所述的智能设备屏幕状态的远程自动识别方法中，在所述校验图像显示在待检测的智能设备的屏幕上后，待检测智能设备上的操作即被监听，一旦待检测智能设备具有操作，则所述校验图像失效。

上述方案中，为了防止截屏类攻击(即用户把其声明的待检测智能设备上的所述校验图像，截屏后发送到另一台设备上，试图伪装成其声明的待检测智能设备)，待检测智能设备在显示所述校验图像时，同时运行有保护服务程序，随时监听用户的任何操作，并实时反馈到所述服务端。当监听到用户在待检测智能设备上的操作后，所述服务端会把当前校验图像失效，重新生成具有时效性的身份标识图像，相应地，所述校验图像被刷新。

进一步地，本发明所述的智能设备屏幕状态的远程自动识别方法中，所述身份标识图像为可被计算机算法识别的编码图像。

上述方案中，所述身份标识图像可以是二维码、条形码等等，识别之后能够精确得到其包含的编码的信息。

进一步地，本发明所述的智能设备屏幕状态的远程自动识别方法中，所述身份标识图像至少含有第一信息和第二信息，其中第一信息为与所述身份识别码对应的身份信息，第二信息为随机生成的校验信息，该校验信息还被保存在服务端；在服务端识别所述屏幕图像时，服务端将保存的校验信息与识别出的第二信息进行比对，用以确认待检测智能设备的身份。

上述方案中，所述校验信息可用于判断所述身份标识图像的时效性。

更进一步地，上述智能设备屏幕状态的远程自动识别方法中，被保存在服务端的校验信息的查找键值为所述身份识别码。

进一步地，作为一种实施方式，在本发明所述的智能设备屏幕状态的远程自动识别方法中，所述身份标识图像的时效性表现为：在有效期后，身份标识图像被刷新。

上述方案中，可以通过刷新所述身份标识图像保证其时效性。为了防止重投类攻击(用户试图用其声明的待检测智能设备上以前生成的合法校验图像重复校验)，对每个校验图像中的身份标识图像均设置时效性，每隔一段时间，这个身份标识图像就会刷新，之前的图像会自动失效。

进一步地，作为另一种实施方式，在本发明所述的智能设备屏幕状态的远程自动识别方法中，所述身份标识图像的时效性表现为：在有效期后，身份标识图像出现在校验图像上的位置和/或身份标识图像的大小被改变。

如果所述校验图像是在待检测智能设备上被合成，那么待检测智能设备可以通过同时发送包含位置信息(其反映身份标识图像与屏幕状态检测图像之间的相对位置关系)和/或身份标识图像的大小的信息给服务端，使得服务端在后续步骤中对身份标识图像的时效性进行验证。上述包含所述位置和/或身份标识图像的大小的信息可以经过加密后发送。

另外，作为另外一种实施方式，所述校验图像还可以由服务端合成，那么在此方式下，则由服务端生成并存储上述包含所述位置和/或身份标识图像的大小的信息，用于后续步骤中对所述身份标识图像的时效性进行验证。

进一步地，本发明所述的智能设备屏幕状态的远程自动识别方法中，所述屏幕状态检测图像是彩色的和/或具有纹理线条的。

上述方案中，所述服务端维护一个屏幕状态检测图像集合，所述屏幕状态检测图像从该集合中随机选取。该集合中的屏幕状态检测图像是彩色的和/或具有纹理线条的。此外，通常还具备较高的分辨率，能适应各种智能设备屏幕的裁剪显示需要。大量的高质量的摄影棚照片和照相机测试场景照片都能够满足以上要求。所述服务端可以结合人工挑选与自动参数匹配来不断添加更换所述集合中的屏幕状态检测图像。

进一步地，本发明所述或上述任一智能设备屏幕状态的远程自动识别方法中，在所述服务端识别所述屏幕图像前，先对所述屏幕图像进行校准。

上述方案中，所述校准的目的是得到相当于从垂直于智能设备屏幕的方向用无畸变的图像采集装置采集得到的图像。采用上述方案是由于采集待检测智能设备的屏幕图像时很难做到垂直屏幕正面采集，并且采用的图像采集装置通常也不可避免的存在桶形或者枕形畸变，如果所述服务端识别所述屏幕图像之前不进行校准，则很难进行准确识别，并且无法对身份标识图像的位置进行校验。当所述身份标识图像的位置需要校验是否一致时，如果所述屏幕图像已经被校准，而所述身份标识图像又是便于算法检测的编码图像，所述服务端通过相应算法可以较为精确地确定所述身份标识图像在待检测智能设备屏幕中的位置，结合智能设备的分辨率信息，可以计算出所述身份标识图像在待检测智能设备屏幕中的像素坐标(由于所述校验图像是充满待检测智能设备屏幕的，该像素坐标即所述校验图像中的像素坐标)，通过与生成所述校验图像时存储的所述身份标识图像的坐标进行比对可以验证所述身份标识图像是否有效。

更进一步地，上述智能设备屏幕状态的远程自动识别方法中，所述校准包括：

识别待检测智能设备屏幕的显示边界，得到图像采集装置的图像采集平面相对于待检测智能设备屏幕平面的投影变换参数；

基于该投影变换参数对接收的屏幕图像进行投影变换的逆变换；

对逆变换后的屏幕图像的坐标进行无畸变正面投影变换以得到屏幕图像的无畸变正视图。

上述方案给出了一种校准所述屏幕图像的方法，即可通过识别屏幕的显示边界(通常是边框)对图像进行校准，得到相当于从垂直于智能设备屏幕的方向用无畸变的图像采集装置采集得到的图像。

进一步地，本发明所述的智能设备屏幕状态的远程自动识别方法中，服务端判断待检测智能设备的屏幕状态是否正常包括：

建立训练集，所述训练集包括智能设备正常显示各屏幕状态检测图像的正常屏幕图像以及智能设备非正常显示各屏幕状态检测图像的非正常屏幕图像；

采用所述训练集训练服务端的评分器；

所述评分器将扣除所述身份标识图像的屏幕图像与所述正常屏幕图像进行比对和评分，以判断待检测智能设备的屏幕状态是否正常。

由于受智能设备屏幕本身素质(分辨率、色彩精确度、色域、亮度、对比度等等)影响，所述校验图像在不同智能设备上显示效果差异较大，但是该显示效果是否属于正常范围(即能否代表正常的屏幕状态)则可以基于机器学习算法进行判断。上述方案给出了一种基于机器学习算法进行判断的方法。

本发明的另一目的是提供一种智能设备屏幕状态的远程自动识别系统，该系统可实施上述方法。

相应地，根据上述目的，本发明提出了一种实施本发明所述的智能设备屏幕状态的远程自动识别方法的系统，其包括：服务端，与服务端数据连接的待检测智能设备，与服务端数据连接的图像采集装置；其中，所述图像采集装置采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端。

上述本发明的智能设备屏幕状态的远程自动识别系统中，通常所述服务端由服务提供商提供，所述待检测智能设备和所述图像采集装置由用户提供。所述服务端通常包括计算机，所述待检测智能设备可以是所有具备屏幕、可连接互联网的智能设备，包括但不限于智能手机、平板电脑、笔记本电脑、智能手表等智能设备，所述图像采集装置通常包括能够连接互联网的用户终端设备和图像采集组件，所述图像采集组件将采集到的图像通过所述用户终端设备发送给所述服务端。所述服务端通常具有供自身运行的和供用户下载到所述待检测智能设备上运行的用于本发明所述系统的程序，该程序包括可以检测所述待检测智能设备上的用户操作的服务程序；此外所述服务端通常还具有至少一个网络入口，可以是网页、电脑程序、手机应用程序等等，可以被用户通过用户终端设备访问到，相应地，所述用户终端设备包括不限于电脑、手机等可以访问所述网络入口的设备；此外所述服务端通常还具有至少一个信息发送服务，可以通过互联网或者短信等方式向所述待检测智能设备发送图像信息；此外所述服务端通常还具有至少一套能运行机器学习算法的计算机系统。所述图像采集组件可以是能拍照并将数字化照片传输到用户终端设备的照相机或者摄像头组件。所述待检测智能设备和所述服务端通过其上运行的程序被配置为按照本发明所述方法中的步骤进行远程数据交换，以实现对用户声明的待检测智能设备的即时屏幕状态的判断。

进一步地，上述本发明的智能设备屏幕状态的远程自动识别系统中，所述图像采集装置设置在用户终端设备上或通过用户终端设备与所述服务端数据连接。

上述方案中，所述图像采集组件和用户终端设备可以是同一部设备的不同部分，包括但不限于能够上网和拍照的手机或者平板电脑等设备，也可以是两个独立的设备，例如所述图像采集组件和用户终端设备分别是数字相机和智能设备。

相应地，根据上述目的，本发明还提出了另一种实施本发明所述的智能设备屏幕状态的远程自动识别方法的系统，其包括：服务端，与服务端数据连接的待检测智能设备，与服务端数据连接的图像采集装置；其中，所述图像采集装置采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端；所述待检测智能设备上运行有监听程序，以使：在所述校验图像显示在待检测的智能设备的屏幕上后，待检测智能设备上的操作即被监听，一旦待检测智能设备具有操作，则待检测智能设备向服务端发送信息以使所述校验图像失效。

上述本发明的智能设备屏幕状态的远程自动识别系统与前述方案相比，所述待检测智能设备上还运行有监听程序，以防止所述截屏类攻击。

本发明所述的智能设备屏幕状态的远程自动识别方法，能远程自动识别待检测智能设备屏幕状态，并且能判断用户发送的智能设备屏幕图像是否代表用户声明的待检测智能设备的即时屏幕状态，同时基于用户发送的智能设备屏幕图像自动识别待检测智能设备屏幕状态，整个流程完全自动化，尤其适应大规模在线业务。此外，在一些方案中，还能防止截屏类攻击、重投类攻击等漏洞攻击。

本发明所述的智能设备屏幕状态的远程自动识别系统，由于实施上述方法，同样具有上述效果。

附图说明

图1为本发明所述的智能设备屏幕状态的远程自动识别方法在第一种实施方式下的流程示意图。

图2为本发明所述的智能设备屏幕状态的远程自动识别方法在第二种实施方式下的流程示意图。

图3为本发明所述的智能设备屏幕状态的远程自动识别系统在一种实施方式下的结构示意图。

图4为图3所示系统的一种工作流程示意图。

图5为图3所示系统的另一种工作流程示意图。

具体实施方式

下面将结合说明书附图和具体的实施例来对本发明所述的智能设备屏幕状态的远程自动识别方法和系统进行进一步地详细说明，但是该详细说明不构成对本发明的限制。

图1显示了本发明所述的智能设备屏幕状态的远程自动识别方法在第一种实施方式下的流程。如图1所示，该智能设备屏幕状态的远程自动识别方法包括步骤：

将与待检测智能设备唯一对应的身份识别码发送给服务端；

服务端根据身份识别码生成具有时效性的身份标识图像，并将该身份标识图像和随机的屏幕状态检测图像发送给待检测智能设备，待检测智能设备将身份标识图像和屏幕状态检测图像组合成校验图像；

将校验图像以充满待检测智能设备屏幕的方式显示在待检测智能设备的屏幕上；

在身份标识图像的时效期内，采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端；

服务端识别屏幕图像(包括对具有时效性的身份标识图像进行验证)，以确认待检测智能设备的身份，并判断待检测智能设备的屏幕状态是否正常。

图2显示了本发明所述的智能设备屏幕状态的远程自动识别方法在第二种实施方式下的流程。如图2所示，该智能设备屏幕状态的远程自动识别方法包括步骤：

将与待检测智能设备唯一对应的身份识别码发送给服务端；

服务端根据身份识别码生成具有时效性的身份标识图像，并将该身份标识图像和随机的屏幕状态检测图像组合成校验图像后发送给待检测智能设备；

将校验图像以充满待检测智能设备屏幕的方式显示在待检测智能设备的屏幕上；

在身份标识图像的时效期内，采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端；

服务端识别屏幕图像(包括对具有时效性的身份标识图像进行验证)，以确认待检测智能设备的身份，并判断待检测智能设备的屏幕状态是否正常。

上述智能设备屏幕状态的远程自动识别方法用于用户与服务提供商之间的涉及智能设备屏幕状态在线识别的在线业务。该方法通过服务端(该服务端由服务提供商提供)与用户进行远程数据交换，以实现对用户声明的待检测智能设备的即时屏幕状态的判断。该方法要求用户在其声明的待检测智能设备上运行一程序(该程序可从服务端处下载)，服务端上也运行有相应的程序，待检测智能设备和服务端通过其上运行的程序被配置为按照上述方法中的步骤进行远程数据交换，以实现对用户声明的待检测智能设备的即时屏幕状态的判断。其中，通过程序的设置，使得一旦所述待检测智能设备开始运行程序，其与服务端之间的数据交换步骤便不可打断，从而保证数据交换只在服务端与用户声明的待检测智能设备之间即时进行，进而保证上述方法是对用户声明的待检测智能设备的即时屏幕状态的判断。此外，“采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端”由用户使用其自备的与服务端数据连接的图像采集装置完成。此外，校验图像包括身份标识图像和屏幕状态检测图像；屏幕图像是校验图像所成的像，通过图像采集装置实现。服务端识别屏幕图像，通过识别其包含的身份标识图像的信息并与身份识别码相应的信息比对以确认待检测智能设备的身份，同时通过识别其包含的屏幕状态检测图像的信息并与之前随机选择的屏幕状态检测图像相应的信息比对以判断待检测智能设备的屏幕状态是否正常。身份识别码为硬件信息码，可以是待检测智能设备的IMEI、Wi-Fi/蓝牙适配器的MAC地址中的一种。此外，随机的屏幕状态检测图像由服务端从预先准备的屏幕状态检测图像集合中随机选择。此外，身份标识图像和随机的屏幕状态检测图像的合成方案是将身份标识图像置于随机的屏幕状态检测图像之上且小于随机的屏幕状态检测图像。在某些实施方式中，为了加强校验图像的唯一性和难复制性，对身份标识图像在随机的屏幕状态检测图像上出现的位置和大小进行随机处理，此时，后续服务端识别所述屏幕图像时，身份标识图像的位置和大小也要校验是否一致。需要说明的是，待检测智能设备可以是所有具备屏幕、可连接互联网的智能设备，包括但不限于智能手机、平板电脑、笔记本电脑、智能手表等智能设备。

在某些实施方式中，身份识别码被加密后发送给服务端。

在某些实施方式中，在校验图像显示在待检测的智能设备的屏幕上后，待检测智能设备上的操作即被监听，一旦待检测智能设备具有操作，则校验图像失效，以防止截屏类攻击。其中，待检测智能设备在显示校验图像时，同时运行有保护服务程序，随时监听用户的任何操作，并实时反馈到服务端。当监听到用户在待检测智能设备上的操作后，服务端会把当前校验图像失效，重新生成具有时效性的身份标识图像，相应地，校验图像被刷新。

在某些实施方式中，身份标识图像为可被计算机算法识别的编码图像。其中，身份标识图像可以是二维码、条形码等识别之后能够精确得到其包含的编码的信息。

在某些实施方式中，身份标识图像含有第一信息和第二信息，其中第一信息为与身份识别码对应的身份信息，第二信息为随机生成的校验信息，该校验信息还被保存在服务端；在服务端识别屏幕图像时，服务端将保存的校验信息与识别出的第二信息进行比对，用以确认待检测智能设备的身份。其中，校验信息同时用于判断身份标识图像的时效性。其中，作为一种实施方式，被保存在服务端的校验信息的查找键值为身份识别码。

在某些实施方式中，身份标识图像的时效性表现为：在有效期后，身份标识图像被刷新，以防止重投类攻击。在另一些实施方式中，身份标识图像的时效性表现为：在有效期后，身份标识图像出现在校验图像上的位置和/或身份标识图像的大小被改变。其中，对每个校验图像中的身份标识图像均设置时效性，每隔一段时间，身份标识图像出现在校验图像上的位置和/或大小会随机改变。

在此情况下，如果所述校验图像是在待检测智能设备上被合成，那么待检测智能设备可以通过同时发送包含位置信息(其反映身份标识图像与屏幕状态检测图像之间的相对位置关系)和/或身份标识图像的大小的信息给服务端，使得服务端对所述身份标识图像的时效性进行验证。上述包含所述位置和/或身份标识图像的大小的信息可以经过加密后发送。如果所述校验图像是由服务端合成，则由服务端生成并存储上述包含所述位置和/或身份标识图像的大小的信息，以用于对所述身份标识图像的时效性进行验证。

在某些实施方式中，屏幕状态检测图像是彩色的和/或具有纹理线条的。其中，服务端维护一个屏幕状态检测图像集合，屏幕状态检测图像从该集合中随机选取。该集合中的屏幕状态检测图像是彩色的和/或具有纹理线条的。此外，还具备较高的分辨率，能适应各种智能设备屏幕的裁剪显示需要。服务端结合人工挑选与自动参数匹配来不断添加更换集合中的屏幕状态检测图像。

在某些实施方式中，在服务端识别屏幕图像前，先对屏幕图像进行校准，得到相当于从垂直于智能设备屏幕的方向用无畸变的图像采集装置采集得到的图像。当身份标识图像的位置需要校验是否一致时，服务端通过相应算法精确地确定身份标识图像在待检测智能设备屏幕中的位置，结合智能设备的分辨率信息，计算出身份标识图像在待检测智能设备屏幕中的像素坐标(由于校验图像是充满待检测智能设备屏幕的，该像素坐标即校验图像中的像素坐标)，通过与生成校验图像时存储的身份标识图像的坐标进行比对验证身份标识图像是否有效。其中，作为一种实施方式，校准包括：识别待检测智能设备屏幕的显示边界，得到图像采集装置的图像采集平面相对于待检测智能设备屏幕平面的投影变换参数；基于该投影变换参数对接收的屏幕图像进行投影变换的逆变换；对逆变换后的屏幕图像的坐标进行无畸变正面投影变换以得到屏幕图像的无畸变正视图。

在某些实施方式中，服务端判断待检测智能设备的屏幕状态是否正常包括：建立训练集，该训练集包括智能设备正常显示各屏幕状态检测图像的正常屏幕图像以及智能设备非正常显示各屏幕状态检测图像的非正常屏幕图像；采用训练集训练服务端的评分器；评分器将扣除身份标识图像的屏幕图像与正常屏幕图像进行比对和评分，以判断待检测智能设备的屏幕状态是否正常。该方案为一种机器学习算法。

图3显示了本发明所述的智能设备屏幕状态的远程自动识别系统在一种实施方式下的结构。如图3所示，该智能设备屏幕状态的远程自动识别系统包括：服务端1，与服务端1数据连接的待检测智能设备2，与服务端1数据连接的图像采集装置3；其中，图像采集装置3采集待检测智能设备2的屏幕图像，并将该屏幕图像发送给服务端1。

上述智能设备屏幕状态的远程自动识别系统用于用户与服务提供商之间的涉及智能设备屏幕状态在线识别的在线业务，通过实施上述智能设备屏幕状态的远程自动识别方法实现对用户声明的待检测智能设备的即时屏幕状态的判断。其中，服务端1由服务提供商提供，待检测智能设备2和图像采集装置3由用户提供。服务端1包括计算机，待检测智能设备2可以是所有具备屏幕、可连接互联网的智能设备，包括但不限于智能手机、平板电脑、笔记本电脑、智能手表等智能设备，图像采集装置3包括能够连接互联网的用户终端设备31和图像采集组件32，图像采集组件32将采集到的图像通过用户终端设备31发送给服务端1。服务端1具有供自身运行的和供用户下载到待检测智能设备2上运行的用于本系统的程序，该程序包括可以检测待检测智能设备2上的用户操作的服务程序；此外服务端1还具有若干网络入口，包括但不限于网页、电脑程序以及手机应用程序，可以被用户通过用户终端设备31访问到，相应地，用户终端设备31包括不限于电脑、手机等可以访问上述网络入口的设备；此外服务端1还具有若干信息发送服务，可以通过互联网或者短信等方式向待检测智能设备2发送图像信息；此外服务端1还具有若干套能运行机器学习算法的计算机系统。图像采集组件32是能拍照并将数字化照片传输到用户终端设备31的照相机或者摄像头组件。待检测智能设备2和服务端1通过其上运行的程序被配置为按照上述智能设备屏幕状态的远程自动识别方法中的步骤进行远程数据交换，以实现对用户声明的待检测智能设备2的即时屏幕状态的判断。

在某些实施方式中，图像采集装置3设置在用户终端设备31上或通过用户终端设备31与服务端1数据连接。其中，图像采集组件32和用户终端设备31可以是同一部设备的不同部分，包括但不限于能够上网和拍照的手机或者平板电脑等设备，也可以是两个独立的设备，例如图像采集组件32和用户终端设备31分别是数字相机和智能设备。

在某些实施方式中，待检测智能设备2上还运行有监听程序，以使：在校验图像显示在待检测的智能设备2的屏幕上后，待检测智能设备2上的操作即被监听，一旦待检测智能设备2具有操作，则待检测智能设备2向服务端1发送信息以使校验图像失效，以防止所述截屏类攻击。

图4显示了上述系统的一种工作流程。结合参考图3和图4，该工作流程通过在待检测智能设备2和服务端1上同时运行相应的程序实现，包括下述不可打断地在待检测智能设备2和服务端1之间交换数据的步骤：

步骤110：待检测智能设备2通过其上运行的程序获取待检测智能设备2的身份识别码并通过安全通道发送到服务端1。

步骤120：服务端1通过其上运行的程序根据其接收到的身份识别码生成具有时效性的身份标识图像，并将该身份标识图像发送给待检测智能设备2。

步骤130：服务端1通过其上运行的程序将随机选择的屏幕状态检测图像发送给待检测智能设备2。

步骤140：待检测智能设备2通过其上运行的程序执行一个随机混合算法将身份标识图像与屏幕检测图像进行混合形成校验图像并显示在屏幕上。在该步骤中，待检测智能设备2还同时加密发送包含位置信息(其反映身份标识图像与屏幕状态检测图像之间的相对位置关系)和/或身份标识图像的大小的信息给服务端1，使得在服务端1在下述步骤170中对身份标识图像的时效性进行验证。

步骤150：待检测智能设备2上运行监听程序，此时用户应当停止对待检测智能设备2进行任何操作。待检测智能设备2通过其上运行的监听程序连接服务端1并持续检测待检测智能设备2上的所有用户操作行为，一旦发现用户对待检测智能设备2有操作，则向服务端1发送消息告知，服务端1将当前校验图像失效，流程回到步骤120。

步骤160：在身份标识图像的有效期内用户用图像采集组件32(通常是照相机)采集待检测智能设备2的正面屏幕图像(通常是照片)并通过用户终端设备31(通常是电脑)从服务端1的网络入口(通常是网页)将该屏幕图像发送到服务端1。

步骤170：服务端1通过其上运行的程序调用算法识别用户发送的屏幕图像中的身份标识图像，并对其时效性进行验证，确认该屏幕图像来自步骤110中的待检测智能设备2。

步骤180：服务端1通过其上运行的程序调用机器学习算法分析用户发送的屏幕图像中的屏幕状态检测图像，判断屏幕显示是否正常。

图5显示了上述系统的另一种工作流程。结合参考图3和图5，该工作流程通过在待检测智能设备2和服务端1上同时运行相应的程序实现，包括下述不可打断地在待检测智能设备2和服务端1之间交换数据的步骤：

步骤210：待检测智能设备2通过其上运行的程序获取待检测智能设备2的身份识别码并通过安全通道发送到服务端1。

步骤220：服务端1通过其上运行的程序根据其接收到的身份识别码生成具有时效性的身份标识图像。

步骤230：服务端1通过其上运行的程序执行一个随机混合算法将身份标识图像与随机选择的屏幕状态检测图像进行混合形成校验图像并发送给待检测智能设备2。此时，由服务端1生成并存储包含位置信息(其反映身份标识图像与屏幕状态检测图像之间的相对位置关系)和/或身份标识图像的大小的信息，使得服务端1在步骤270中对身份标识图像的时效性进行验证。

步骤240：待检测智能设备2通过其上运行的程序将接收到的校验图像显示在屏幕上。

步骤250：待检测智能设备2上运行监听程序，此时用户应当停止对待检测智能设备2进行任何操作。待检测智能设备2通过其上运行的监听程序连接服务端1并持续检测待检测智能设备2上的所有用户操作行为，一旦发现用户对待检测智能设备2有操作，则向服务端1发送消息告知，服务端1将当前校验图像失效，流程回到步骤220。

步骤260：在身份标识图像的有效期内用户用图像采集组件32(通常是照相机)采集待检测智能设备2的正面屏幕图像(通常是照片)并通过用户终端设备31(通常是电脑)从服务端1的网络入口(通常是网页)将该屏幕图像发送到服务端1。

步骤270：服务端1通过其上运行的程序调用算法识别用户发送的屏幕图像中的身份标识图像，并对其时效性的验证，确认该屏幕图像来自步骤110中的待检测智能设备2。

步骤280：服务端1通过其上运行的程序调用机器学习算法分析用户发送的屏幕图像中的屏幕状态检测图像，判断屏幕显示是否正常。

需要说明的是，若超出了有效期，在有些实施例中身份标识图像会被刷新，或者，在另外一些实施例中，身份标识图像出现在校验图像上的位置和/或身份标识图像的大小被改变。那么在此情况下，则重新回到步骤120或220。

需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。

Claims (15)

1.一种智能设备屏幕状态的远程自动识别方法，其特征在于，包括步骤：

将与待检测智能设备唯一对应的身份识别码发送给服务端；

服务端根据所述身份识别码生成具有时效性的身份标识图像，并将该身份标识图像和随机的屏幕状态检测图像发送给待检测智能设备，待检测智能设备将所述身份标识图像和屏幕状态检测图像组合成校验图像；或者服务端根据所述身份识别码生成具有时效性的身份标识图像，并将该身份标识图像和随机的屏幕状态检测图像组合成校验图像后发送给待检测智能设备；

将所述校验图像以充满待检测智能设备屏幕的方式显示在待检测智能设备的屏幕上；

在身份标识图像的时效期内，采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端；

服务端识别所述屏幕图像，以确认待检测智能设备的身份，并判断待检测智能设备的屏幕状态是否正常。

2.如权利要求1所述的智能设备屏幕状态的远程自动识别方法，其特征在于，所述身份识别码被加密后发送给服务端。

3.如权利要求1所述的智能设备屏幕状态的远程自动识别方法，其特征在于，在所述校验图像显示在待检测的智能设备的屏幕上后，待检测智能设备上的操作即被监听，一旦待检测智能设备具有操作，则所述校验图像失效。

4.如权利要求1所述的智能设备屏幕状态的远程自动识别方法，其特征在于，所述身份标识图像为可被计算机算法识别的编码图像。

5.如权利要求1所述的智能设备屏幕状态的远程自动识别方法，其特征在于，所述身份标识图像至少含有第一信息和第二信息，其中第一信息为与所述身份识别码对应的身份信息，第二信息为随机生成的校验信息，该校验信息还被保存在服务端；在服务端识别所述屏幕图像时，服务端将保存的校验信息与识别出的第二信息进行比对，用以确认待检测智能设备的身份。

6.如权利要求5所述的智能设备屏幕状态的远程自动识别方法，其特征在于，被保存在服务端的校验信息的查找键值为所述身份识别码。

7.如权利要求1所述的智能设备屏幕状态的远程自动识别方法，其特征在于，所述身份标识图像的时效性表现为：在有效期后，身份标识图像被刷新。

8.如权利要求1所述的智能设备屏幕状态的远程自动识别方法，其特征在于，所述身份标识图像的时效性表现为：在有效期后，身份标识图像出现在校验图像上的位置和/或身份标识图像的大小被改变。

9.如权利要求1所述的智能设备屏幕状态的远程自动识别方法，其特征在于，所述屏幕状态检测图像是彩色的和/或具有纹理线条的。

10.如权利要求1-9中任意一项所述的智能设备屏幕状态的远程自动识别方法，其特征在于，在所述服务端识别所述屏幕图像前，先对所述屏幕图像进行校准。

11.如权利要求10所述的智能设备屏幕状态的远程自动识别方法，其特征在于，所述校准包括：

识别待检测智能设备屏幕的显示边界，得到图像采集装置的图像采集平面相对于待检测智能设备屏幕平面的投影变换参数；

基于该投影变换参数对接收的屏幕图像进行投影变换的逆变换；

对逆变换后的屏幕图像的坐标进行无畸变正面投影变换以得到屏幕图像的无畸变正视图。

12.如权利要求1所述的智能设备屏幕状态的远程自动识别方法，其特征在于，服务端判断待检测智能设备的屏幕状态是否正常包括：

建立训练集，所述训练集包括智能设备正常显示各屏幕状态检测图像的正常屏幕图像以及智能设备非正常显示各屏幕状态检测图像的非正常屏幕图像；

采用所述训练集训练服务端的评分器；

所述评分器将扣除所述身份标识图像的屏幕图像与所述正常屏幕图像进行比对和评分，以判断待检测智能设备的屏幕状态是否正常。

13.一种实施如权利要求1-2，4-12中任意一项所述的智能设备屏幕状态的远程自动识别方法的系统，其包括：服务端，与服务端数据连接的待检测智能设备，与服务端数据连接的图像采集装置；其中，所述图像采集装置采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端。

14.如权利要求13所述的智能设备屏幕状态的远程自动识别系统，其特征在于，所述图像采集装置设置在用户终端设备上或通过用户终端设备与所述服务端数据连接。

15.一种实施如权利要求3所述的智能设备屏幕状态的远程自动识别方法的系统，其包括：服务端，与服务端数据连接的待检测智能设备，与服务端数据连接的图像采集装置；其中，所述图像采集装置采集待检测智能设备的屏幕图像，并将该屏幕图像发送给服务端；所述待检测智能设备上运行有监听程序，以使：在所述校验图像显示在待检测的智能设备的屏幕上后，待检测智能设备上的操作即被监听，一旦待检测智能设备具有操作，则待检测智能设备向服务端发送信息以使所述校验图像失效。