CN111460356A

CN111460356A - 一种自动登录方法、装置、介质和设备

Info

Publication number: CN111460356A
Application number: CN202010324705.4A
Authority: CN
Inventors: 沈奇; 韩虎
Original assignee: Beijing Infosec Technologies Co Ltd
Current assignee: Beijing Infosec Technologies Co Ltd
Priority date: 2020-04-23
Filing date: 2020-04-23
Publication date: 2020-07-28
Anticipated expiration: 2040-04-23
Also published as: CN111460356B

Abstract

本发明涉及一种自动登录方法、装置、介质和设备。不论登录一个信息系统是通过网页登录的形式，还是通过客户端登录的形式，均可以从自动登录服务器获取包括用于确定登录入口页面中登录入口位置的信息的登录相关信息，根据登录相关信息，以及针对信息系统对应的登录入口页面中的登录入口所截取的全屏显示图片，在登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现信息系统的自动登录。保证了自动登录方案的通用性，针对通过客户端登录信息系统的形式，也可以实现自动登录，提高了自动登录的成功率。且无需查找输入框标识，也无需发送填充消息，针对通过网页登录信息系统的形式，也进一步保证了自动登录的成功率。

Description

一种自动登录方法、装置、介质和设备

技术领域

本发明涉及通信技术领域，特别涉及一种自动登录方法、装置、介质和设备。

背景技术

在信息系统快速发展的今天，每天可能都会有成千上万种信息系统产生。每种信息系统都有自己特定的用途，功能，来帮助人们解决各自领域或者某个方面的事情，因为各个信息系统数据库的不共通性，导致各信息系统需要有各自的登录信息（登录信息可以包括用户名和密码）。

用户必须分别记住各信息系统的登录信息，才能正确登录各个信息系统，如果用户记混或记错登录信息，会导致用户无法登录某个信息系统。

而且，如果需要频繁登录信息系统，需要在每次登录时输入登录信息，并点击登录确认按键，会增加用户操作的复杂度，导致用户操作的便利性降低。

登录一个信息系统可能是通过网页登录的形式，也可能是通过客户端（APP）登录的形式。

针对网页登录的形式，现有技术提供的自动登录方法的步骤示意图可以如图1所示，通过超文本传输协议（http）访问指定的统一资源定位符（url），将访问到的网页对应的文本（txt）内容下载到本地。在下载到本地的文本内容中，通过特征值遍历的方式，查找登录信息对应的输入框标识（ID），向查找出的各ID发送填充消息，然后查找确认登录按键对应的按键标识（button），向查找出的button发送点击消息，从而实现针对网页登录形式的自动登录。

但是，现有自动登录方法通用性较差，由于网站应用开发人员写的代码可能不一致，有时很难找到登录信息对应的ID，也就无法发送填充消息，无法实现自动登录。

且，即使可以找到登录信息对应的ID，在发送填充消息时，有时会被其他消息干扰，也无法实现自动登录。

另外，现有的自动登录方法，针对一个信息系统通过APP登录的形式，无法实现自动登录。

综上所述，现有的自动登录方法，实现自动登录的成功率较低。

发明内容

本发明实施例提供一种自动登录方法、装置、介质和设备，用于解决自动登录的成功率较低的问题。

本发明提供了一种自动登录方法，所述方法包括：

自动登录客户端若接收到启动请求，针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面；

截取包括所述登录入口页面中的登录入口的全屏显示图片；

向自动登录服务器发送登录相关信息获取请求，该登录相关信息获取请求中携带所述自动登录客户端对应的客户端标识；

接收所述自动登录服务器反馈的与所述客户端标识对应的登录相关信息，所述登录相关信息包括用于确定所述登录入口页面中登录入口位置的信息；

根据所述登录相关信息以及所述全屏显示图片，在所述登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现所述信息系统的自动登录。

本发明还提供了一种自动登录方法，所述方法包括：

接收自动登录客户端发送的登录相关信息获取请求，该登录相关信息获取请求中携带所述自动登录客户端对应的客户端标识，其中，所述登录相关信息获取请求是所述自动登录客户端若接收到启动请求，针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面，截取包括所述登录入口页面中的登录入口的全屏显示图片，并发送的；

向所述自动登录客户端反馈确定出的与所述客户端标识对应的登录相关信息，所述登录相关信息包括用于确定所述登录入口页面中登录入口位置的信息，以便该客户端根据所述登录相关信息以及所述全屏显示图片，在所述登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现所述信息系统的自动登录。

本发明还提供了一种客户端，所述客户端包括：

启动模块，用于若接收到启动请求，针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面；

处理模块，用于截取包括所述登录入口页面中的登录入口的全屏显示图片；

发送模块，用于向自动登录服务器发送登录相关信息获取请求，该登录相关信息获取请求中携带所述自动登录客户端对应的客户端标识；

接收模块，用于接收所述自动登录服务器反馈的与所述客户端标识对应的登录相关信息，所述登录相关信息包括用于确定所述登录入口页面中登录入口位置的信息；

登录模块，用于根据所述登录相关信息以及所述全屏显示图片，在所述登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现所述信息系统的自动登录。

本发明还提供了一种服务器，所述服务器包括：

接收模块，用于接收自动登录客户端发送的登录相关信息获取请求，该登录相关信息获取请求中携带所述自动登录客户端对应的客户端标识，其中，所述登录相关信息获取请求是所述自动登录客户端若接收到启动请求，针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面，截取包括所述登录入口页面中的登录入口的全屏显示图片，并发送的；

发送模块，用于向所述自动登录客户端反馈确定出的与所述客户端标识对应的登录相关信息，所述登录相关信息包括用于确定所述登录入口页面中登录入口位置的信息，以便该客户端根据所述登录相关信息以及所述全屏显示图片，在所述登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现所述信息系统的自动登录。

本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现如上所述的方法。

本发明还提供了一种自动登录设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存储的程序时，实现如上所述的方法步骤。

不论登录一个信息系统是通过网页登录的形式，还是通过客户端（APP）登录的形式，根据本发明实施例提供的方案，均可以从自动登录服务器获取包括用于确定登录入口页面中登录入口位置的信息的登录相关信息，根据登录相关信息，以及针对信息系统对应的登录入口页面中的登录入口所截取的全屏显示图片，在登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现信息系统的自动登录。本发明实施例提供的方案，保证了自动登录方案的通用性，针对通过客户端（APP）登录信息系统的形式，也可以实现自动登录，提高了自动登录的成功率。且无需查找ID，也无需发送填充消息，针对通过网页登录信息系统的形式，也进一步保证了自动登录的成功率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术提供的自动登录方法的步骤示意图；

图2为本发明实施例一提供的自动登录方法的流程示意图；

图3为本发明实施例二提供的自动登录方法的流程示意图；

图4为本发明实施例三提供的自动登录方法的流程示意图；

图5为本发明实施例三提供的网页形式的全屏显示图片示意图；

图6（a）~（c）分别为本发明实施例三提供的用户名输入框图片、密码输入框图片和确认登录按键图片示意图；

图7为本发明实施例四提供的客户端的结构示意图；

图8为本发明实施例五提供的服务器的结构示意图；

图9为本发明实施例六提供的自动登录设备的结构示意图。

具体实施方式

针对现有的自动登录方案的不足，本申请提供一种结合图像识别技术实现的通用的自动登录方案，并可以保证自动登录的成功率。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

本发明实施例一提供一种自动登录方法，本实施例从自动登录客户端侧对自动登录方法进行说明，该方法的步骤流程可以如图2所示，包括：

步骤101、打开登录入口页面。

在本步骤中，自动登录客户端若接收到启动请求，可以针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面。一个所述信息系统对应的登录入口页面可以理解为一个包括所述信息系统对应的登录入口的页面。

在一种可能的实现方式中，针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面，可以理解为包括：

针对预先配置的需要自动登录的信息系统，在预先配置的安装路径下搜索浏览器可执行程序，执行该浏览器可执行程序，响应一个指定的统一资源定位符对应的网页，或者，在预先配置的安装路径下搜索客户端可执行程序，并执行该客户端可执行程序，响应一个该客户端显示界面。

预先配置的安装路径可以是在自动登录客户端的常规目录下，此时自动登录客户端直接在常规目录下搜索浏览器可执行程序或者客户端可执行程序即可。

预先配置的安装路径也可以是自动登录服务器预先配置并发送给自动登录客户端的，此时，自动登录客户端若接收到启动请求，可以针对预先配置的需要自动登录的信息系统，向自动登录服务器发送安装路径获取请求（该请求中可以理解为携带信息系统标识），自动登录服务器向自动登录客户端反馈信息系统对应的安装路径，自动登录客户端在自动登录服务器反馈的安装路径下搜索浏览器可执行程序或者客户端可执行程序。

另外，在本实施例中，指定的统一资源定位符可以预先保存在自动登录客户端。

当然，指定的统一资源定位符也可以是自动登录服务器预先配置并发送给自动登录客户端的，此时，自动登录客户端若接收到启动请求，可以根据自动登录服务器发送的指定的统一资源定位符，来响应一个指定的统一资源定位符对应的网页。

步骤102、截取图片。

为了通过图像识别的方式，对登录入口页面中的登录入口进行识别，实现自动登录，在本步骤中，可以截取包括所述登录入口页面中的登录入口的全屏显示图片。截取的全屏显示图片中可以理解为包括所述登录入口页面中的登录入口对应的图像。

在一种可能的实现方式中，可以将响应的登录入口页面全屏显示，并截取全屏显示的登录入口页面对应的全屏显示图片，以确保截取的全屏显示图片中包括的登录入口对应的图像的完整性。

需要说明的是，在本实施例中，截取包括所述登录入口页面中的登录入口的全屏显示图片，适用于单屏显示的情况，也适用于多屏显示的情况。

针对单屏显示的情况，可以直接在显示登录入口页面的屏幕上，截取包括所述登录入口页面中的登录入口的全屏显示图片。

针对多屏显示的情况，如果多屏显示为屏幕复制显示，那么在一种可能的实现方式中，可以在任意一个屏幕上，截取包括所述登录入口页面中的登录入口的全屏显示图片。而如果多屏显示为屏幕扩展显示，那么在一种可能的实现方式中，可以设置响应的登录入口页面显示在某一个屏幕上，进而可以在该屏幕上，截取包括所述登录入口页面中的登录入口的全屏显示图片。

步骤103、发送登录相关信息获取请求。

在本步骤中，自动登录客户端可以向自动登录服务器发送登录相关信息获取请求，该登录相关信息获取请求中携带自动登录客户端对应的客户端标识。

步骤104、接收登录相关信息。

在本步骤中，自动登录客户端可以接收自动登录服务器反馈的与客户端标识对应的登录相关信息，所述登录相关信息包括用于确定所述登录入口页面中登录入口位置的信息。

步骤105、实现自动登录。

在本步骤中，自动登录客户端可以根据登录相关信息以及全屏显示图片，在登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现信息系统的自动登录，进入该信息系统。

所述登录相关信息除了可以包括用于确定所述登录入口页面中登录入口位置的信息，还可以包括所述登录入口页面对应的登录信息。当然，所述登录入口页面对应的登录信息也可以直接保存在自动登录客户端中，无需自动登录服务器通过登录相关信息反馈。

在一种可能的实现方式中，在步骤104中，自动登录服务器反馈的与客户端标识对应的登录相关信息，可以包括：用户名输入框图片、密码输入框图片、确认登录按键图片、用户名和密码。

那么，步骤105可以包括：将用户名输入框图片与全屏显示图片进行比对，确定全屏显示图片中，用户名输入框图片对应的第一位置信息；根据确定出的第一位置信息，在登录入口页面中用户名输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成用户名的输入；以及，

将密码输入框图片与全屏显示图片进行比对，确定全屏显示图片中，密码输入框图片对应的第二位置信息；根据确定出的第二位置信息，在登录入口页面中密码输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成密码的输入；

并在完成用户名和密码的输入后，将确认登录按键图片与全屏显示图片进行比对，确定全屏显示图片中，确认登录按键图片对应的第三位置信息；

根据确定出的第三位置信息，在登录入口页面中确认登录按键的位置，通过控制消息模拟鼠标点击操作，完成点击。

即，在本实施例中，自动登录服务器可以将与客户端标识对应的用户名输入框图片、密码输入框图片、确认登录按键图片、用户名和密码发送给自动登录客户端，自动登录客户端根据接收到的用户名输入框图片、密码输入框图片和确认登录按键图片，在全屏显示图片中进行对应的位置识别，进而确定对应的登录入口页面中，用户名输入框、密码输入框和确认登录按键的位置。

需要说明的是，由于是在全屏显示图片中进行登录入口对应的位置识别，那么根据识别出的位置，必然可以通过坐标转换的方式，确定出屏幕中的登录入口页面中的登录入口对应的位置。

在确定出的登录入口页面中用户名输入框、密码输入框的位置，自动输入用户名和密码，并在确定出的登录入口页面中确认登录按键的位置，自动点击按键，从而实现自动登录。

在一种可能的实现方式中，在步骤103中，登录相关信息获取请求中还可以携带全屏显示图片。

此时，在步骤104中，自动登录服务器反馈的与客户端标识对应的登录相关信息，可以包括：第一位置信息、第二位置信息、第三位置信息、用户名和密码。

其中，第一位置信息为自动登录服务器将客户端标识对应的用户名输入框图片与全屏显示图片进行比对，确定出的全屏显示图片中，用户名输入框图片对应的位置信息；第二位置信息为自动登录服务器将客户端标识对应的密码输入框图片与全屏显示图片进行比对，确定出的全屏显示图片中，密码输入框图片对应的位置信息；第三位置信息为自动登录服务器将客户端标识对应的确认登录按键图片与全屏显示图片进行比对，确定出的全屏显示图片中，确认登录按键图片对应的位置信息。

此时，步骤105可以包括，根据第一位置信息，在登录入口页面中用户名输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成用户名的输入；以及，根据第二位置信息，在登录入口页面中密码输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成密码的输入；

并在完成用户名和密码的输入后，根据第三位置信息，在登录入口页面中确认登录按键的位置，通过控制消息模拟鼠标点击操作，完成点击。

即，在本实施例中，还可以由自动登录服务器在全屏显示图片中，进行用户名输入框图片、密码输入框图片和确认登录按键图片对应的位置识别。

自动登录客户端可以直接根据接收到的位置信息，确定对应的登录入口页面中，用户名输入框、密码输入框和确认登录按键的位置，在确定出的登录入口页面中用户名输入框、密码输入框的位置，自动输入用户名和密码，并在确定出的登录入口页面中确认登录按键的位置，自动点击按键，从而实现自动登录。

优选的，为了保证模拟鼠标点击操作时，模拟操作的准确性，第一位置信息可以为全屏显示图片中，用户名输入框图片对应的中心位置信息；第二位置信息可以为全屏显示图片中，密码输入框图片对应的中心位置信息；第三位置信息为全屏显示图片中，确认登录按键图片对应的中心位置信息。

另外，在本实施例中，通过控制消息模拟键盘输入操作，可以包括：

如果待输入的文本为数字，通过控制消息模拟键盘输入操作输入该数字；

如果待输入的文本为指定语言文字，确定当前输入法是否对应该指定语言，若确定当前输入法对应该指定语言，则通过控制消息模拟键盘输入操作输入该指定语言文字，否则，通过控制消息模拟键盘输入操作，将当前输入法切换为与该指定语言对应，并通过控制消息模拟键盘输入操作输入该指定语言文字。

例如，如果待输入的文本为英文，可以查询系统的当前输入法是否对应英文，如果当前输入法对应英文，则通过控制消息直接输入英文到输入框中，否则，需要通过控制消息将当前输入法切换到对应英文，再通过控制消息进行输入。

又如，如果待输入的文本为中文，可以查询系统的当前输入法是否对应中文，如果当前输入法对应中文，则通过控制消息直接输入中文到输入框中，否则，需要通过控制消息将当前输入法切换到对应中文，再通过控制消息进行输入。

其中，进行中文输入时，可以在通过控制消息模拟键盘点击后，进行字模数据库比对，查找到当前需要的汉字并通过控制消息触发回车按钮进行选择输入。

需要说明的是，自动登录服务器反馈的与客户端标识对应的登录相关信息，可以是自动登录客户端执行一次人工登录后，上报相关信息给自动登录服务器，自动登录服务器根据相关信息得到的。

也就是说，在一种可能的实现方式中，自动登录客户端首次登录信息系统时，需要人工登录。

因此，步骤101之后，步骤102之前，还可以进一步确定是否首次登录所述信息系统，若确定首次登录所述信息系统，在本实施例中，还可以在登录入口页面中的登录入口位置，接收登录操作，实现所述信息系统的登录，并将接收到的登录操作对应的登录信息、以及接收到的登录操作对应的登录入口位置图片上报给自动登录服务器，并结束本流程。

并可以理解为在确定非首次登录所述信息系统时，才执行步骤102，截取全屏显示图片。

另外，需要说明的是，自动登录客户端或者自动登录服务器在确定登录入口位置（确定登录入口位置可以理解为通过图像比对，进行登录入口位置查找定位）时，如果用于进行比对的图片的分辨率不同，可能导致无法正确识别登录入口位置，由此可能导致自动登录失败，此时，也需要自动登录客户端执行人工登录。

因此，若在步骤105中，未能实现所述信息系统的自动登录（此时假设由自动登录客户端确定登录入口位置，未能实现所述信息系统的自动登录可以理解为在步骤105中自动登录客户端根据登录相关信息以及全屏显示图片，未能正确确定出登录入口位置，导致未能实现所述信息系统的自动登录。假设由自动登录服务器确定登录入口位置，未能实现所述信息系统的自动登录可以理解为自动登录服务器未能正确确定出登录入口位置，由此导致在步骤105中未能实现所述信息系统的自动登录。），在本实施例中，还可以在登录入口页面中的，接收登录操作，实现所述信息系统的登录，并将接收到的登录操作对应的登录入口位置图片上报给自动登录服务器。需要说明的是，由于登录信息已经上报过一次，此时可以无需上报登录信息，以节约系统资源。

自动登录客户端上报的登录信息，可以理解为包括用户名和密码，上报的登录入口位置图片，可以理解为包括用户名输入框图片、密码输入框图片和确认登录按键图片。

进一步的，需要说明的是，自动登录服务器中可能保存有多组登录入口位置图片（每一组登录入口位置图片可以理解为包括用户名输入框图片、密码输入框图片和确认登录按键图片，每一组登录入口位置图片可以理解为不同分辨率对应的登录入口位置图片），那么自动登录服务器反馈登录相关信息时，可以反馈多次。

自动登录服务器的一次反馈可以理解为针对一组登录入口位置图片，以自动登录服务器的一次反馈是用户名输入框图片、密码输入框图片、确认登录按键图片、用户名和密码为例，若自动登录客户端根据本次反馈无法实现自动登录，可以再次请求获取登录相关信息，直至自动登录客户端登录成功（此时可以理解为本次反馈的一组登录入口位置图片与全屏显示图片的分辨率匹配）。

当然，如果自动登录客户端最终仍然自动登录失败，可以再次执行人工登录，重新上报登录入口位置图片。

另外，若自动登录服务器中保存有多组登录入口位置图片，那么自动登录服务器的一次反馈对应第一位置信息、第二位置信息、第三位置信息、用户名和密码时，可以理解为自动登录服务器针对一组登录入口位置图片确定一次第一位置信息、第二位置信息、第三位置信息，直至确定出正确的第一位置信息、第二位置信息、第三位置信息（此时可以理解为该组登录入口位置图片与全屏显示图片的分辨率匹配），自动登录客户端才可以根据确定出的正确的第一位置信息、第二位置信息、第三位置信息以及用户名、密码实现自动登录，否则均需要再次请求获取登录相关信息。

而若自动登录服务器最终仍然无法确定出正确的第一位置信息、第二位置信息、第三位置信息，则自动登录客户端可以再次执行人工登录，重新上报登录入口位置图片。

实施例二

本发明实施例二提供一种自动登录方法，本实施例从自动登录服务器侧对自动登录方法进行说明，该方法的步骤流程可以如图3所示，包括：

步骤201、接收登录相关信息获取请求。

在本步骤中，自动登录服务器可以接收自动登录客户端发送的登录相关信息获取请求，该登录相关信息获取请求中携带所述自动登录客户端对应的客户端标识，其中，所述登录相关信息获取请求是所述自动登录客户端若接收到启动请求，针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面，截取包括所述登录入口页面中的登录入口的全屏显示图片，并发送的。

步骤202、反馈登录相关信息。

在本步骤中，自动登录服务器可以向所述自动登录客户端反馈确定出的与所述客户端标识对应的登录相关信息，所述登录相关信息包括用于确定所述登录入口页面中登录入口位置的信息，以便该客户端根据所述登录相关信息以及所述全屏显示图片，在所述登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现所述信息系统的自动登录。

在一种可能的实现方式中，所述登录相关信息可以包括：用户名输入框图片、密码输入框图片、确认登录按键图片、用户名和密码。

在一种可能的实现方式中，若所述登录相关信息获取请求中还携带全屏显示图片，那么自动登录服务器还可以将确定出的所述客户端标识对应的用户名输入框图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述用户名输入框图片对应的第一位置信息；以及，将确定出的所述客户端标识对应的密码输入框图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述密码输入框图片对应的第二位置信息；以及，将确定出的所述客户端标识对应的确认登录按键图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述确认登录按键图片对应的第三位置信息。

此时，所述登录相关信息可以包括：所述第一位置信息、所述第二位置信息、所述第三位置信息、用户名和密码。

当然，如果自动登录客户端首次人工登录信息系统，那么自动登录服务器还可以接收自动登录客户端上报的登录信息和登录入口位置图片。

而如果自动登录客户端需要再次人工登录信息系统，那么自动登录服务器还可以接收自动登录客户端上报的登录入口位置图片。

下面通过一个具体的例子，对本发明实施例一和实施例二提供的自动登录方法进行说明。其中，在下面的例子中，自动登录服务器可以为单点登录（SSO）服务器，自动登录客户端可以记为CNG客户端。CNG客户端可以理解为本地计算机上的一个服务程序，在本地计算机上与SSO服务器进行通信并响应SSO服务器的指定动作。

下面的例子可以适用于但不限于适用于以下场景：

假设系统中安装有QQ客户端、微信客户端、Sql Server客户端、OA系统客户端等多个客户端，若用户需要登录一个客户端，则需要找到该客户端，手动打开该客户端，然后输入该客户端的用户名密码，然后点击确定按钮。

其中，针对QQ客户端，需要找到QQ客户端，手动打开QQ客户端，然后输入QQ客户端的用户名密码，然后点击确定按钮。

针对微信客户端，需要找到微信客户端，手动打开微信客户端，然后输入微信客户端的用户名密码，然后点击确定按钮。

针对Sql Server客户端，需要找到Sql Server客户端，手动打开Sql Server客户端，然后输入Sql Server客户端的用户名密码，然后点击确定按钮。

针对OA系统客户端，需要找到OA系统客户端，手动打开OA系统客户端，然后输入OA系统客户端的用户名密码，然后点击确定按钮。

也就是说，以客户端的方式登录一个信息系统时，无法自动登录，需要人工记住用户名密码，并且需要手动打开该客户端，输入用户名密码，再单击登录按钮实现登录，登录过程非常繁琐。而当客户端数量较多的时候，用户需要记住所有客户端各自的用户名和密码，还非常容易记混或记错。

实施例三

本发明实施例三提供一种自动登录方法，该方法的步骤流程可以如图4所示，包括：

步骤301、CNG客户端启动。

CNG客户端若接收到启动请求，可以调用本地启动目标程序接口，通过指定的浏览器打开一个指定的统一资源定位符对应的网页或者一个指定的客户端，并可以调用显示桌面功能，将网页全屏显示或者将客户端显示界面全屏显示。

步骤302、确定是否首次登录信息系统。

在本步骤中，CNG客户端可以确定是否首次登录信息系统，若确定首次登录信息系统，可以提示用户为首次登录，需要人工登录，并结束本流程。

其中，在人工登录时，可以在全屏显示的网页中的登录入口位置或全屏显示的客户端显示界面中的登录入口位置，接收登录操作，实现信息系统的登录，并将接收到的登录操作对应的登录信息、以及接收到的登录操作对应的登录入口位置图片上报给SSO服务器，SSO服务器可以保存接收到的登录信息和登录入口位置图片，其中，SSO服务器可以将接收到的登录入口位置图片保存在特征库中。

若CNG客户端确定非首次登录信息系统，可以截取全屏显示图片，并继续执行步骤303。在本实施例中，截取的网页形式的全屏显示图片示意图可以如图5所示。

步骤303、发送登录相关信息获取请求。

在本步骤中，CNG客户端可以向SSO服务器发送登录相关信息获取请求，该登录相关信息获取请求中携带CNG客户端对应的客户端标识。

步骤304、接收登录相关信息。

在本步骤中，CNG客户端可以接收SSO服务器反馈的与客户端标识对应的登录相关信息。

在本实施例中，假设SSO服务器通过调用CNG客户端输入接口，反馈的与客户端标识对应的登录相关信息包括用户名输入框图片、密码输入框图片、确认登录按键图片、用户名和密码。

以截取的全屏显示图片示意图如图5所示为例，SSO服务器反馈的用户名输入框图片、密码输入框图片和确认登录按键图片可以分别如图6（a）、图6（b）和图6（c）所示。

步骤305、实现自动登录。

在本步骤中，CNG客户端可以根据接收到的登录相关信息和全屏显示图片，在全屏显示的网页中的登录入口位置或全屏显示的客户端显示界面中的登录入口位置，模拟鼠标点击和键盘输入操作，实现信息系统的自动登录。

在本步骤中，CNG客户端可以调用本地查找代填接口，将接收到的用户名输入框图片和本地保存的全屏显示图片（全屏显示图片可以为任意指定的内存图片格式，例如jpg格式）进行比对，确定第一位置信息。根据确定出的第一位置信息，在全屏显示的网页或全屏显示的客户端显示界面中用户名输入框的位置，模拟鼠标点击，将光标焦点放置到相应的位置，然后模拟键盘输入操作，完成接收到的用户名的输入。

另外，CNG客户端还可以调用本地查找代填接口，将接收到的密码输入框图片和本地保存的全屏显示图片进行比对，确定第二位置信息。根据确定出的第二位置信息，在全屏显示的网页或全屏显示的客户端显示界面中密码输入框的位置，模拟鼠标点击，将光标焦点放置到相应的位置，然后模拟键盘输入操作，完成接收到的密码的输入。

在完成密码和用户名的输入之后，CNG客户端还可以调用本地查找登录接口，将接收到的确认登录按键图片和本地保存的全屏显示图片进行比对，确定第三位置信息。根据确定出的第三位置信息，在全屏显示的网页或全屏显示的客户端显示界面中确认登录按键的位置，模拟鼠标点击，完成确认登录按键点击操作。

需要说明的是，如果CNG客户端根据接收到的登录相关信息，无法实现自动登录，可以再次返回执行步骤303，并重新接收登录相关信息，直至CNG客户端自动登录成功。

而如果SSO服务器将保存的每一组登录入口位置图片（用户名输入框图片、密码输入框图片、确认登录按键图片）均反馈给CNG客户端，但CNG客户端仍然无法实现自动登录（可以理解为CNG客户端无法确定出正确的第一位置信息、第二位置信息和第三位置信息，导致无法实现自动登录，可以理解为接收到的每一组登录入口位置图片均与全屏显示图片的分辨率不匹配），此时可以提示用户自动登录失败，需要人工登录。

并可以进一步将接收到的登录操作对应的登录入口位置图片上报给SSO服务器，使得SSO服务器可以保存一组新的登录入口位置图片，以便于后续可以根据该组登录入口位置图片，实现自动登录。

需要说明的是，本实施例提供的方案不仅适用于以本地客户端程序（类似于上述QQ客户端、微信客户端、Sql Server客户端、OA系统客户端，包含但不限于上述客户端）的方式登录信息系统的方式，对以网页应用的方式登录信息系统的方式也有效。

根据本发明实施例一~三提供的方案，在实现信息系统的自动登录时，可以通过图像识别的方式，准确定位，并模拟用户操作，实现效果和用户本人自己操作一样：识别出用户名输入框，就会在该输入框中点击鼠标，输入用户名，实现输入框的自动定位代填；识别出密码输入框，就会在该输入框中点击鼠标，输入密码，实现输入框的自动定位代填；识别出确认登录按键，就会在该按键上点击，实现登录。

本发明方案中，客户端完全模拟了用户的操作，通过配置图片进行位置查找并实现用户动作，通用性更强，能够适用各种环境，且成功率比现有方案大大提高。

与实施例一~三提供的方法对应的，提供以下的装置。

实施例四

本发明实施例四提供一种客户端，该客户端的结构可以如图7所示，包括：

启动模块11用于若接收到启动请求，针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面；处理模块12用于截取包括所述登录入口页面中的登录入口的全屏显示图片；发送模块13用于向自动登录服务器发送登录相关信息获取请求，该登录相关信息获取请求中携带所述自动登录客户端对应的客户端标识；接收模块14用于接收所述自动登录服务器反馈的与所述客户端标识对应的登录相关信息，所述登录相关信息包括用于确定所述登录入口页面中登录入口位置的信息；登录模块15用于根据所述登录相关信息以及所述全屏显示图片，在所述登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现所述信息系统的自动登录。

在一种可能的实现方式中，所述启动模块11针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面，包括：

在一种可能的实现方式中，所述接收模块14接收到的所述登录相关信息可以包括用户名输入框图片、密码输入框图片、确认登录按键图片、用户名和密码；

所述登录模块15，具体用于将所述用户名输入框图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述用户名输入框图片对应的第一位置信息；根据确定出的第一位置信息，在所述登录入口页面中用户名输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成所述用户名的输入；以及，

将所述密码输入框图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述密码输入框图片对应的第二位置信息；根据确定出的第二位置信息，在所述登录入口页面中密码输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成所述密码的输入；

并在完成所述用户名和所述密码的输入后，将所述确认登录按键图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述确认登录按键图片对应的第三位置信息；

根据确定出的第三位置信息，在所述登录入口页面中确认登录按键的位置，通过控制消息模拟鼠标点击操作，完成点击。

在一种可能的实现方式中，所述发送模块13发送的所述登录相关信息获取请求中还携带所述全屏显示图片；

所述接收模块14接收到的所述登录相关信息可以包括第一位置信息、第二位置信息、第三位置信息、用户名和密码；其中，所述第一位置信息为所述自动登录服务器将所述客户端标识对应的用户名输入框图片与所述全屏显示图片进行比对，确定出的所述全屏显示图片中，所述用户名输入框图片对应的位置信息；所述第二位置信息为所述自动登录服务器将所述客户端标识对应的密码输入框图片与所述全屏显示图片进行比对，确定出的所述全屏显示图片中，所述密码输入框图片对应的位置信息；所述第三位置信息为所述自动登录服务器将所述客户端标识对应的确认登录按键图片与所述全屏显示图片进行比对，确定出的所述全屏显示图片中，所述确认登录按键图片对应的位置信息；

所述登录模块15，具体用于根据所述第一位置信息，在所述登录入口页面中用户名输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成所述用户名的输入；以及，根据所述第二位置信息，在所述登录入口页面中密码输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成所述密码的输入；

并在完成所述用户名和所述密码的输入后，根据所述第三位置信息，在所述登录入口页面中确认登录按键的位置，通过控制消息模拟鼠标点击操作，完成点击。

在一种可能的实现方式中，所述第一位置信息为所述全屏显示图片中，所述用户名输入框图片对应的中心位置信息；所述第二位置信息为所述全屏显示图片中，所述密码输入框图片对应的中心位置信息；所述第三位置信息为所述全屏显示图片中，所述确认登录按键图片对应的中心位置信息。

在一种可能的实现方式中，所述登录模块15通过控制消息模拟键盘输入操作，包括：

在一种可能的实现方式中，所述处理模块12还用于若确定首次登录所述信息系统，触发所述登录模块15在所述登录入口页面中的登录入口位置，接收登录操作，实现所述信息系统的登录，并由所述登录模块15触发所述发送模块14将接收到的登录操作对应的登录信息、以及接收到的登录操作对应的登录入口位置图片上报给所述自动登录服务器。

在一种可能的实现方式中，所述登录模块15还用于若未能实现所述信息系统的自动登录，在所述登录入口页面中的登录入口位置，接收登录操作，实现所述信息系统的登录，并触发所述发送模块13将接收到的登录操作对应的登录入口位置图片上报给所述自动登录服务器。

实施例五

本发明实施例五提供一种服务器，该服务器的结构可以如图8所示，包括：

接收模块21用于接收自动登录客户端发送的登录相关信息获取请求，该登录相关信息获取请求中携带所述自动登录客户端对应的客户端标识，其中，所述登录相关信息获取请求是所述自动登录客户端若接收到启动请求，针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面，截取包括所述登录入口页面中的登录入口的全屏显示图片，并发送的；发送模块22用于向所述自动登录客户端反馈确定出的与所述客户端标识对应的登录相关信息，所述登录相关信息包括用于确定所述登录入口页面中登录入口位置的信息，以便该客户端根据所述登录相关信息以及所述全屏显示图片，在所述登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现所述信息系统的自动登录。

在一种可能的实现方式中，若所述接收模块21接收到的所述登录相关信息获取请求中还携带所述全屏显示图片，则，所述发送模块22还用于将确定出的所述客户端标识对应的用户名输入框图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述用户名输入框图片对应的第一位置信息；以及，将确定出的所述客户端标识对应的密码输入框图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述密码输入框图片对应的第二位置信息；以及，将确定出的所述客户端标识对应的确认登录按键图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述确认登录按键图片对应的第三位置信息；

所述发送模块22发送的所述登录相关信息包括所述第一位置信息、所述第二位置信息、所述第三位置信息、用户名和密码。

在一种可能的实现方式中，所述发送模块22发送的所述登录相关信息包括用户名输入框图片、密码输入框图片、确认登录按键图片、用户名和密码。

在一种可能的实现方式中，所述接收模块21还用于接收所述自动登录客户端上报的登录信息和登录入口位置图片，或者接收所述自动登录客户端上报的登录入口位置图片。

基于同一发明构思，本发明实施例提供以下的设备和介质。

实施例六

本发明实施例六提供一种自动登录设备，该设备的结构可以如图9所示，包括处理器31、通信接口332、存储器33和通信总线34，其中，所述处理器31，所述通信接口332，所述存储器33通过所述通信总线34完成相互间的通信；

所述存储器33，用于存放计算机程序；

所述处理器31，用于执行所述存储器上所存储的程序时，实现本发明实施例一或二所述的方法步骤。

可选的，所述处理器31具体可以包括中央处理器（CPU）、特定应用集成电路（ASIC，Application Specific Integrated Circuit），可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列（FPGA，Field Programmable Gate Array）开发的硬件电路，可以是基带处理器。

可选的，所述处理器31可以包括至少一个处理核心。

可选的，所述存储器33可以包括只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）和磁盘存储器。存储器33用于存储至少一个处理器31运行时所需的数据。存储器33的数量可以为一个或多个。

本发明实施例七提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，当可执行程序被处理器执行时，实现本发明实施例一或二提供的方法。

在具体的实施过程中，计算机存储介质可以包括：通用串行总线闪存盘（USB，Universal Serial Bus Flash Drive）、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的存储介质。

在本发明实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性或其它的形式。

在本发明实施例中的各功能单元可以集成在一个处理单元中，或者各个单元也可以均是独立的物理模块。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备，例如可以是个人计算机，服务器，或者网络设备等，或处理器（processor）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘（Universal Serial Bus Flash Drive）、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种自动登录方法，其特征在于，所述方法包括：

截取包括所述登录入口页面中的登录入口的全屏显示图片；

2.如权利要求1所述的方法，其特征在于，针对预先配置的需要自动登录的信息系统，响应一个所述信息系统对应的登录入口页面，包括：

3.如权利要求1所述的方法，其特征在于，所述登录相关信息包括用户名输入框图片、密码输入框图片、确认登录按键图片、用户名和密码；

根据所述登录相关信息以及所述全屏显示图片，在所述登录入口页面中的登录入口位置，通过控制消息模拟鼠标点击和键盘输入操作，实现所述信息系统的自动登录，包括：

将所述用户名输入框图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述用户名输入框图片对应的第一位置信息；根据确定出的第一位置信息，在所述登录入口页面中用户名输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成所述用户名的输入；以及，

4.如权利要求1所述的方法，其特征在于，所述登录相关信息获取请求中还携带所述全屏显示图片；

所述登录相关信息包括第一位置信息、第二位置信息、第三位置信息、用户名和密码；

其中，所述第一位置信息为所述自动登录服务器将所述客户端标识对应的用户名输入框图片与所述全屏显示图片进行比对，确定出的所述全屏显示图片中，所述用户名输入框图片对应的位置信息；所述第二位置信息为所述自动登录服务器将所述客户端标识对应的密码输入框图片与所述全屏显示图片进行比对，确定出的所述全屏显示图片中，所述密码输入框图片对应的位置信息；所述第三位置信息为所述自动登录服务器将所述客户端标识对应的确认登录按键图片与所述全屏显示图片进行比对，确定出的所述全屏显示图片中，所述确认登录按键图片对应的位置信息；

根据所述第一位置信息，在所述登录入口页面中用户名输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成所述用户名的输入；以及，根据所述第二位置信息，在所述登录入口页面中密码输入框的位置，通过控制消息模拟鼠标点击和键盘输入操作，完成所述密码的输入；

5.如权利要求3或4所述的方法，其特征在于，所述第一位置信息为所述全屏显示图片中，所述用户名输入框图片对应的中心位置信息；所述第二位置信息为所述全屏显示图片中，所述密码输入框图片对应的中心位置信息；所述第三位置信息为所述全屏显示图片中，所述确认登录按键图片对应的中心位置信息。

6.如权利要求3或4所述的方法，其特征在于，通过控制消息模拟键盘输入操作，包括：

7.如权利要求1所述的方法，其特征在于，若确定首次登录所述信息系统，所述方法还包括：

在所述登录入口页面中的登录入口位置，接收登录操作，实现所述信息系统的登录，并将接收到的登录操作对应的登录信息、以及接收到的登录操作对应的登录入口位置图片上报给所述自动登录服务器。

8.如权利要求1所述的方法，其特征在于，若未能实现所述信息系统的自动登录，所述方法还包括：

在所述登录入口页面中的登录入口位置，接收登录操作，实现所述信息系统的登录，并将接收到的登录操作对应的登录入口位置图片上报给所述自动登录服务器。

9.一种自动登录方法，其特征在于，所述方法包括：

10.如权利要求9所述的方法，其特征在于，所述登录相关信息包括用户名输入框图片、密码输入框图片、确认登录按键图片、用户名和密码。

11.如权利要求9所述的方法，其特征在于，若所述登录相关信息获取请求中还携带所述全屏显示图片，则，所述方法还包括：

将确定出的所述客户端标识对应的用户名输入框图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述用户名输入框图片对应的第一位置信息；以及，将确定出的所述客户端标识对应的密码输入框图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述密码输入框图片对应的第二位置信息；以及，将确定出的所述客户端标识对应的确认登录按键图片与所述全屏显示图片进行比对，确定所述全屏显示图片中，所述确认登录按键图片对应的第三位置信息；

所述登录相关信息包括所述第一位置信息、所述第二位置信息、所述第三位置信息、用户名和密码。

12.如权利要求9~11任一所述的方法，其特征在于，所述方法还包括：

接收所述自动登录客户端上报的登录信息和登录入口位置图片，或者接收所述自动登录客户端上报的登录入口位置图片。

13.一种客户端，其特征在于，所述客户端包括：

14.一种服务器，其特征在于，所述服务器包括：

15.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现权利要求1~12任一所述的方法。

16.一种自动登录设备，其特征在于，所述设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存储的程序时，实现权利要求1~12任一所述的方法步骤。