CN116257837A - 应用系统登陆方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种应用系统登陆方法、装置、计算机设备和存储介质。所述方法包括：提取操作系统的桌面图像中的应用系统信息；若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息；根据所述系统环境变量信息和所述应用系统信息，查询登陆凭据信息；根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统。采用本方法能够提升操作对象登陆应用系统时的便捷性。

Description

应用系统登陆方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种应用系统登陆方法、装置、计算机设备和存储介质。

背景技术

人们在使用计算机的过程中，难免会登陆不同的应用系统，例如外部应用系统（网盘、游戏应用以及在线邮箱等）以及内部应用系统（财务系统、考勤系统以及绩效系统等）。

目前，操作对象通常以用户名加密码的方式登陆应用系统，即在应用系统的登录界面手动输入用户名与密码，然后点击登录按钮完成登录过程。

然而，随着应用系统增多，常会出现操作对象忘记用户名或者密码而导致无法登陆应用系统的情况，此时往往需要操作对象通过短信验证等方式找回用户名或者密码后才能登陆应用系统，给操作对象带来极大不便。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升操作对象登陆应用系统时的便捷性的应用系统登陆方法、装置、计算机设备和计算机可读存储介质。

第一方面，本申请提供了一种应用系统登陆方法。所述方法包括：

提取操作系统的桌面图像中的应用系统信息；

若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息；

根据所述系统环境变量信息和所述应用系统信息，查询登陆凭据信息；

根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统。

在其中一个实施例中，所述根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统，包括：

从所述应用系统信息中提取应用系统的窗口附加信息；根据所述窗口附加信息，将所述登陆凭据信息输入所述应用系统对应的登陆控件；通过所述登陆控件登陆所述应用系统。

在其中一个实施例中，所述窗口附加信息包括窗口位置信息、控件位置信息以及控件类型信息；所述根据所述窗口附加信息，将所述登陆凭据信息输入所述应用系统对应的登陆控件，包括：

根据所述窗口位置信息以及所述控件位置信息，定位所述应用系统的登陆窗口中各登陆控件，得到控件定位信息；根据所述控件类型信息和所述控件定位信息，将所述登陆凭据信息输入所述登陆控件。

在其中一个实施例中，所述登陆凭据信息包括登陆账号以及登陆密码；所述根据所述控件类型信息和所述控件定位信息，将所述登陆凭据信息输入所述登陆控件，包括：

根据所述控件类型信息，在所述控件定位信息中确定第一控件的第一定位信息和第二控件的第二定位信息；根据所述第一定位信息，将所述登陆账号输入所述第一控件；根据所述第二定位信息，将所述登陆密码输入所述第二控件。

在其中一个实施例中，在所述通过所述登陆控件登陆所述应用系统之后，包括：

根据所述控件类型信息，在所述控件定位信息中确定安全登陆控件的第三定位信息；根据所述第三定位信息，通过所述安全登陆控件进行安全登陆验证。

在其中一个实施例中，所述根据所述第三定位信息，通过所述安全登陆控件进行安全登陆验证，至少包括以下各项中的一项：

从所述窗口附加信息中提取安全验证码，基于所述第三定位信息，通过将所述安全验证码输入所述安全登陆控件，对本次登陆进行安全登陆验证；

从所述窗口附加信息中确定拼图拖动距离，基于所述第三定位信息，通过将所述安全登陆控件中的拼图控制按键拖动所述拼图拖动距离，对本次登陆进行安全登陆验证。

在其中一个实施例中，所述应用系统信息包括第一检测信息和第二检测信息；所述提取操作系统的桌面图像中的应用系统信息，包括：

通过将所述桌面图像与各预设图像进行图像特征对比，在各所述预设图像中查找与所述桌面图像相似度最高的目标预存图像；将所述目标预存图像对应的预存应用数据作为第一检测信息；通过预设目标检测模型，对所述桌面图像进行目标检测，得到第二检测信息；

在所述若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息之前，所述方法还包括：

确定所述第一检测信息和所述第二检测信息是否一致；若一致，则确定操作对象存在登陆意图；若不一致，则确定操作对象不存在登陆意图。

第二方面，本申请还提供了一种应用系统登陆装置。所述装置包括：

应用系统信息提取模块，用于提取操作系统的桌面图像中的应用系统信息；

环境变量信息获取模块，用于若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息；

查询模块，用于根据所述系统环境变量信息和所述应用系统信息，查询登陆凭据信息；

自动登陆模块，用于根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

提取操作系统的桌面图像中的应用系统信息；

若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息；

根据所述系统环境变量信息和所述应用系统信息，查询登陆凭据信息；

根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

提取操作系统的桌面图像中的应用系统信息；

若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息；

根据所述系统环境变量信息和所述应用系统信息，查询登陆凭据信息；

根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统。

上述应用系统登陆方法、装置、计算机设备和存储介质，首先提取操作系统的桌面图像中的应用系统信息，利用该应用系统信息可以确定操作对象是否存在登陆意图信息，若存在，则获取操作系统的系统环境变量信息，从而以系统环境变量信息和应用系统信息作为索引，可以准确查询对应的登陆凭据信息，实现了自动查询应用系统的登陆凭据信息，利用该登陆凭据信息，即可登陆对应的应用系统，这样，本申请通过桌面图像中的应用系统信息后，可以自动查询应用系统对应的登陆凭据信息，再依据登陆凭据信息自动登陆对应的应用系统，无需操作对象通过手动输入用户名或者密码来登陆应用系统，可以避免由于操作对象忘记用户名或者密码而导致无法登陆应用系统的情况发生，同样也避免了需要操作对象通过短信验证等方式找回用户名或者密码后才能登陆应用系统，因此提升了操作对象登陆应用系统时的便捷性。

附图说明

图1为一个实施例中应用系统登陆方法的流程示意图；

图2为一个实施例中桌面的登陆窗口的示意图；

图3为另一个实施例中应用系统登陆方法的流程示意图；

图4为一个实施例中自动登陆应用系统的流程示意图；

图5为另一个实施例中自动登陆应用系统的流程示意图；

图6为一个实施例中应用系统登陆装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种应用系统登陆方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤202，提取操作系统的桌面图像中的应用系统信息。

作为一种示例，操作系统指的是终端的操作系统，例如可以为计算机的操作系统，相应地，该桌面图像可以为计算机桌面的图像。

作为一种示例，应用系统信息至少包括应用系统身份信息以及应用系统的窗口附加信息中的一种，其中，应用系统身份信息可以为应用系统名称或者应用系统ID标识符等，窗口附加信息为应用系统的登陆窗口信息，该窗口附加信息可以为登陆窗口的窗口位置信息、登陆窗口中登陆控件的控件位置信息以及控件类型信息等。

作为一种示例，登陆控件可以为登陆窗口中的输入行，该输入行用于接收输入的登陆账号或者登陆密码，登陆账号可以为用户名、身份证号或者手机号等。

作为一种示例，参照图2，图2为一个实施例中桌面的登陆窗口的示意图，其中，A为桌面，B为登陆窗口，用户名输入行和密码输入行均为登陆控件。

作为一种示例，该登陆控件还可以为安全验证控件，该安全验证控件可以为输入行，用于接收输入的安全验证码，输入特定的安全验证码即可完成安全登陆验证；该安全验证控件也可以为拼图与拼图控制按键组成，通过拖拽拼图控制按键移动，可以带动待拼接的拼图移动至拼图空缺的预设区域，即可完成安全登陆验证。

作为一种示例，获取操作系统的桌面图像，通过将桌面图像与各预设图像进行图像特征对比，在各预设图像中确定与桌面图像相似度最高的目标预存图像；将目标预存图像对应的预存应用数据作为应用系统信息。

作为一种示例，获取操作系统的桌面图像，对桌面图像进行目标检测，得到应用系统信息。

步骤204，若根据应用系统信息确定操作对象存在登陆意图，则获取操作系统的系统环境变量信息。

作为一种示例，系统环境变量信息可以为当前登陆的操作系统的用户名、计算机网络IP（Internet Protocol Address，网际协议）地址或者计算机网络MAC（Media AccessControl Address，媒体存取控制）地址中的一种或者多种。

作为一种示例，根据应用系统信息确定桌面图像中是否存在登陆窗口，若存在，则确定操作对象存在登陆意图，并获取操作系统的系统环境变量信息；若不存在，则确定操作对象不存在登陆意图，

步骤206，根据系统环境变量信息和应用系统信息，查询登陆凭据信息。

作为一种示例，以系统环境变量信息和应用系统信息共同作为索引，从本地数据库中查询对应的登陆凭据信息。

作为一种示例，以系统环境变量信息和应用系统信息共同作为索引，通过远程服务器接口查询对应的登陆凭据信息。

步骤208，根据登陆凭据信息，登陆应用系统信息对应的应用系统。

作为一种示例，登陆凭据信息可以为登陆密码，也可以为由登陆账号和登陆密码组成的组合信息。

作为一种示例，将登陆凭据信息发送至预设登陆接口进行身份查验，若查验通过，则成功登陆对应的应用系统，否则返回登陆失败的提示信息。

上述应用系统登陆方法中，首先提取操作系统的桌面图像中的应用系统信息，利用该应用系统信息可以确定操作对象是否存在登陆意图信息，若存在，则获取操作系统的系统环境变量信息，从而以系统环境变量信息和应用系统信息作为索引，可以准确查询对应的登陆凭据信息，实现了自动查询应用系统的登陆凭据信息，利用该登陆凭据信息，即可登陆对应的应用系统，这样，本申请通过桌面图像中的应用系统信息后，可以自动查询应用系统对应的登陆凭据信息，再依据登陆凭据信息自动登陆对应的应用系统，无需操作对象通过手动输入用户名或者密码来登陆应用系统，可以避免由于操作对象忘记用户名或者密码而导致无法登陆应用系统的情况发生，同样也避免了需要操作对象通过短信验证等方式找回用户名或者密码后才能登陆应用系统，因此提升了操作对象登陆应用系统时的便捷性。

需要说明的是，虽然利用预设登陆接口进行身份查验，可以实现利用登陆凭据信息进行应用系统自动登陆，但是这种方式通常需要对应用系统进行一定量地改造和配置，而不同的应用系统通常是存在差异的，对每种应用系统进行一定量地改造和配置的流程均有可能存在差异，因此上述实施例中利用预设登陆接口进行身份查验，从而实现利用登陆凭据信息进行应用系统自动登陆的普适性不高。

在一个实施例中，如图3所示，根据登陆凭据信息，登陆应用系统信息对应的应用系统，包括：

步骤402，从应用系统信息中提取应用系统的窗口附加信息。

步骤404，根据窗口附加信息，将登陆凭据信息输入应用系统对应的登陆控件。

步骤406，通过登陆控件登陆应用系统。

作为一种示例，窗口附加信息可以为窗口位置信息以及控件位置信息，用于定位登陆控件在桌面图像上的绝对位置，其中，窗口位置信息可以为窗口在桌面图像中的窗口位置绝对坐标，该窗口位置绝对坐标所处的坐标系可以为桌面图像的坐标系，例如可以为以桌面图像的左上角顶点作为坐标系原点所构建的坐标系；控件位置信息可以为控件在窗口中的控件位置相对坐标，该控件位置相对坐标所处的坐标系可以为登陆窗口的坐标系，例如可以为以登陆窗口的左上角顶点作为坐标系原点所构建的坐标系。

作为一种示例，步骤402至步骤406包括：从应用系统信息中提取窗口位置信息以及控件位置信息；根据窗口位置信息以及控件位置信息，对应用系统的登陆窗口中登陆控件进行定位，得到控件定位信息，其中，该控件定位信息可以为登陆控件在桌面图像中的控件位置绝对坐标，该控件位置绝对坐标所处的坐标系可以为桌面图像的坐标系；通过输入设备在控件位置信息所对应的桌面位置处输入登陆凭据信息，将登陆凭据信息输入对应的登陆控件，其中，输入设备可以为键盘或者鼠标等；通过登陆控件登陆对应的应用系统。

本实施例中通过从应用系统信息中提取应用系统的窗口附加信息，根据窗口附加信息，将登陆凭据信息输入应用系统对应的登陆控件，由于该窗口附加信息可以用于准确定位到登陆控件在桌面图像上的绝对位置，因此可以实现将登陆凭据信息准确输入对应的登陆控件，最后根据登陆控件即可登陆对应的应用系统，这样可以实现应用系统的自动登陆，且由于本实施例中是利用桌面图像来定位登陆窗口中的登陆控件，并不需要对应用系统进行改造和配置，因此虽然不同的应用系统之间存在差异，但是这并不影响本实施例中利用桌面图像来定位登陆窗口中的登陆控件，然后通过将登陆凭据信息输入登陆控件登陆对应的应用系统，所以提升了利用登陆凭据信息进行应用系统自动登陆的普适性。

在一个实施例中，窗口附加信息包括窗口位置信息、控件位置信息以及控件类型信息；根据窗口附加信息，将登陆凭据信息输入应用系统对应的登陆控件，包括：

根据窗口位置信息以及控件位置信息，定位应用系统的登陆窗口中各登陆控件，得到控件定位信息；根据控件类型信息和控件定位信息，将登陆凭据信息输入登陆控件。

需要说明的是，登陆窗口中的登陆控件可以为一个或者多个，例如，当登陆凭据信息为登陆密码时，登陆窗口中只存在用于接收登陆密码的登陆控件，当登陆凭据信息为登陆账号和登陆密码的组合信息时，登陆窗口中应当存在用于接收登陆账号的第一控件和用于接收登陆密码的第二控件。基于此，当登陆窗口中存在多个登陆控件时，则登陆凭据信息各种信息需要输入相匹配的登陆控件，才能可以保证利用登陆控件可以登陆对应的应用系统。

作为一种示例，根据窗口位置信息以及控件位置信息，对应用系统的登陆窗口中各个登陆控件进行定位，得到控件定位信息，其中，该控件定位信息可以为各个登陆控件在桌面图像中的控件位置绝对坐标，该控件位置绝对坐标所处的坐标系可以为桌面图像的坐标系；根据控件类型信息，确定登陆凭据信息中登陆信息对应的控件位置绝对坐标之间的匹配关系；根据该匹配关系，通过输入设备在各控件位置绝对坐标所对应的桌面位置处输入对应的登陆信息，将登陆凭据信息输入对应的登陆控件。其中，登陆信息可以为登陆账号或者登陆密码等。

在本实施例中，根据窗口位置信息以及控件位置信息，定位应用系统的登陆窗口中各登陆控件，得到控件定位信息，可以实现准确定位各登陆控件在桌面图像中的控件位置绝对坐标；然后基于控件类型信息可以确定登陆凭据信息中各登陆信息与控件位置绝对坐标之间的匹配关系；最后根据该匹配关系，可以保证各登陆信息可以准确输入匹配的登陆控件，可以避免登陆信息输入至不相匹配的登陆控件而导致登陆失败的情况发生，因此可以保证通过将登陆凭据信息输入登陆控件来实现应用系统自动登陆的成功率。

在一个实施例中，登陆凭据信息包括登陆账号以及登陆密码；根据控件类型信息和控件定位信息，将登陆凭据信息输入登陆控件，包括：

根据控件类型信息，在控件定位信息中确定第一控件的第一定位信息和第二控件的第二定位信息；根据第一定位信息，将登陆账号输入第一控件；根据第二定位信息，将登陆密码输入第二控件。

作为一种示例，第一控件为用于接收输入的登陆账号的登陆控件，第二控件为用于接收输入的登陆密码的登陆控件；控件定位信息包括第一控件在桌面图像中的控件位置绝对坐标（即第一定位信息）以及第二控件在桌面图像中的控件位置绝对坐标（即第二定位信息），该控件位置绝对坐标所处的坐标系可以为桌面图像的坐标系。

作为一种示例，根据控件类型信息中控件类型与控件定位信息中控件位置绝对坐标之间的对应关系，在控件定位信息中确定第一控件的第一定位信息和第二控件的第二定位信息；通过输入设备在第一定位信息所对应的桌面位置处输入登陆账号，将登陆账号输入第一控件；通过输入设备在第二定位信息所对应的桌面位置处输入登陆密码，将登陆密码输入第二控件。

本实施例中根据控件类型信息，在控件定位信息中确定第一控件的第一定位信息和第二控件的第二定位信息，可以准确确定第一控件的控件位置绝对坐标以及第二控件的控件位置绝对坐标，进而根据第一定位信息，将登陆账号输入第一控件；根据第二定位信息，将登陆密码输入第二控件，可以实现将登陆账号准确输入相匹配的第一控件以及将登陆密码准确输入相匹配的第二控件的目的，可以避免出现登陆账号错误输入第二控件或者登陆密码错误输入第一控件的情况发生，保证了通过将登陆凭据信息输入登陆控件来实现应用系统自动登陆的成功率。

在一个实施例中，在通过登陆控件登陆应用系统之后，包括：

根据控件类型信息，在控件定位信息中确定安全登陆控件的第三定位信息；根据第三定位信息，通过安全登陆控件进行安全登陆验证。

作为一种示例，安全登陆控件为用于进行安全登陆验证的控件，例如该安全登陆控件可以为用于接收安全验证码的输入行等；第三定位信息为安全登陆控件在桌面图像中的控件位置绝对坐标，该控件位置绝对坐标所处的坐标系可以为桌面图像的坐标系。

作为一种示例，根据控件类型信息中控件类型与控件定位信息中控件位置绝对坐标之间的对应关系，在控件定位信息中确定安全登陆控件的第三定位信息；通过输入设备在第三定位信息所对应的桌面位置处输入安全验证码，对本次登陆进行安全验证，其中，安全验证码可以从应用系统信息中提取得到。

本实施例中根据控件类型信息，在控件定位信息中确定安全登陆控件的第三定位信息，可以对登陆窗口中的安全验证控件进行定位，从而可以根据第三定位信息，通过安全登陆控件进行安全登陆验证，实现了在自动登陆应用系统之前自动进行安全登陆验证的目的，无需操作对象手动进行安全验证，因此进一步提升了操作对象登陆应用系统时的便捷性。

在一个实施例中，根据第三定位信息，通过安全登陆控件进行安全登陆验证，包括：

从窗口附加信息中提取安全验证码，基于第三定位信息，通过将安全验证码输入安全登陆控件，对本次登陆进行安全登陆验证。

需要说明的是，若登陆窗口中存在安全验证控件，且安全验证控件为用于接收安全验证码的输入行，则在窗口附加信息中会相应存在安全验证码。

作为一种示例，从窗口附加信息中提取安全验证码，通过输入设备在第三定位信息所对应的桌面位置处输入安全验证码，对本次登陆进行安全验证。

本实施例中通过从窗口附加信息中提取安全验证码，可以基于第三定位信息，通过将安全验证码输入安全登陆控件，对本次登陆进行安全登陆验证，实现了在自动登陆应用系统之前自动验证安全验证码，无需操作对象手动输入安全验证码，因此进一步提升了操作对象登陆应用系统时的便捷性。

在一个实施例中，根据第三定位信息，通过安全登陆控件进行安全登陆验证，包括：

从窗口附加信息中确定拼图拖动距离，基于第三定位信息，通过将安全登陆控件中的拼图控制按键拖动拼图拖动距离，对本次登陆进行安全登陆验证。

需要说明的是，拼图拖动距离为待拼接的拼图与拼图空缺的预设区域之间的相对距离，拖动拼图移动该拼图拖动距离，可以使得待拼接的拼图移动至拼图空缺的预设区域完成拼图拼接；拼图控制按键为用于控制待拼接的拼图移动的按键，该拼图控制按键移动时会带动待拼接的拼图相应地进行移动；第三定位信息可以为待拼接的拼图在桌面图像中的绝对位置坐标，其中，待拼接的拼图属于安全登陆控件的一部分，该安全登陆控件由待拼接的拼图、背景拼图以及拼图控制按键组成，该背景拼图中包括拼图空缺的预设区域。

作为一种示例，从窗口附加信息中获取拼图拖动距离；控制输入设备移动至第三定位信息所处的桌面位置处，以将输入设备的控制指针移动至拼图控制按键处；通过输入设备控制拼图控制按键移动拼图拖动距离，对本次登陆进行安全登陆验证。

本实施例中首先从窗口附加信息中确定拼图拖动距离，可以基于第三定位信息，通过将安全登陆控件中的拼图控制按键拖动拼图拖动距离，对本次登陆进行安全登陆验证，实现了在自动登陆应用系统之前自动进行拼图拼接来进行安全登陆验证，无需操作对象手动控制输入设备来拖动拼图进行拼图拼接，因此进一步提升了操作对象登陆应用系统时的便捷性。

在一个实施例中，应用系统信息包括第一检测信息和第二检测信息；提取操作系统的桌面图像中的应用系统信息，包括：

通过将桌面图像与各预设图像进行图像特征对比，在各预设图像中查找与桌面图像相似度最高的目标预存图像；将目标预存图像对应的预存应用数据作为第一检测信息；通过预设目标检测模型，对桌面图像进行目标检测，得到第二检测信息；

在若根据应用系统信息确定操作对象存在登陆意图，则获取操作系统的系统环境变量信息之前，方法还包括：

确定第一检测信息和第二检测信息是否一致；若一致，则确定操作对象存在登陆意图；若不一致，则确定操作对象不存在登陆意图。

作为一种示例，预设目标检测模型为预先训练好的AI模型，可以用于对桌面图像进行目标检测；第一检测信息或者第二检测信息至少包括窗口位置信息、控件位置信息、控件类型信息、拼图拖动距离以及安全验证码中的一种。例如假设控件类型信息包括类型标签1、2以及3，其中，标识1表示登陆窗口存在登陆账号的登陆控件，标识2表示登陆窗口存在登陆密码的登陆控件，标识3表示登陆窗口存在安全登陆控件，且安全登陆控件为接收安全验证码的输入行，相应地第一检测信息或者第二检测信息中还会存在安全验证码；又假设控件类型信息包括类型标签2以及4，标识2表示登陆窗口存在登陆密码的登陆控件，标识4表示登陆窗口存在安全登陆控件，且安全登陆控件由拼图与拼图控制按键组成，通过拖拽拼图控制按键移动，可以带动待拼接的拼图移动至拼图空缺的预设区域，即可完成安全登陆验证，相应地第一检测信息或者第二检测信息中还会存在拼图拖动距离。

作为一种示例，通过将桌面图像与各预设图像进行图像特征对比，确定桌面图像与各预设图像之间的特征相似度，选取特征相似度最高的预设图像作为目标预存图像；将目标预存图像对应的预存应用数据作为第一检测信息；通过预设目标检测模型，对桌面图像进行目标检测，得到窗口位置信息，根据窗口位置信息，在桌面图像中确定窗口区域局部图像，对窗口区域局部图像进行目标检测，得到控件位置信息、控件类型信息、拼图拖动距离以及安全验证码，其中，若不存在拼图拖动距离和安全验证码，则可以使用预设标签进行标识，例如可以设置标签0标识不存在拼图拖动距离，设置标签0000标识不存在安全验证码；将窗口位置信息、控件位置信息、控件类型信息、拼图拖动距离以及安全验证码共同作为第二检测信息；确定第一检测信息和第二检测信息是否一致；若一致，则确定操作对象存在登陆意图；若不一致，则确定操作对象不存在登陆意图。其中，各预设图像中存在登陆窗口，因此预设图像对应的预存应用数据中会存在应用系统的相关信息。

作为一种示例，图像特征对比的算法可以为FLANN（Fast Library forApproximate Nearest Neighbors，快速最近邻搜索包）算法；目标检测的算法可以为SSD（Single Shot MultiBox Detector）或YOLO（You Only Look Once）目标检测算法。

本实施例中通过对桌面图像和各预设图像进行图像特征对比，获取桌面图像的第一检测信息，然后再通过对桌面图像进行目标检测，获取桌面图像的第二检测信息，这样在第一检测信息和第二检测信息一致时，则证明无论通过图像特征对比的方式还是目标检测的方式均可以判定桌面图像中存在登陆窗口，从而判定操作对象存在登陆意图，这样本实施例实现了通过图像特征对比以及目标检测两种方式共同检测操作对象是否存在登陆意图，为登陆意图地检测提供了双重保障，因此可以提升登陆意图检测的准确度。

在一个实施例中，参照图4，图4为本实施例中自动登陆应用系统的流程示意图，首先通过登陆客户端定时抓拍操作系统的桌面图像（屏幕图像），例如可以每隔500ms抓拍一次桌面图像；通过登陆客户端将桌面图像与本地数据库存储的各预设图像分别进行图像特征对比，找出与桌面图像相似度最高的预设图像作为目标预存图像，将目标预存图像对应的应用系统数据作为第一检测信息；通过登陆客户端对桌面图像进行目标检测，得到第二检测信息；确定第一检测信息与第二检测信息是否一致，若不一致，则证明操作对象不存在登陆意图，并返回执行步骤：通过登陆客户端定时抓拍操作系统的桌面图像；若一致，则证明操作对象存在登陆意图，并从第一检测信息或者第二检测信息中提取登陆窗口的窗口附加信息，其中，窗口附加信息中至少包括窗口位置信息、控件位置信息以及控件类型信息中的一种；通过操作系统接口获取操作系统的系统环境变量信息，其中，系统环境变量信息至少包括操作系统的用户名、计算机网络IP地址以及计算机网络MAC地址中的一种；以应用系统信息（第一检测信息或者第二检测信息）与系统环境变量信息为索引，通过登陆客户端在应用系统凭据数据库查询对应的登陆凭据信息（例如应用系统账号信息）；根据窗口附加信息，将登陆凭据信息填入对应的登陆控件中，自动登陆应用系统。这样即可实现应用系统的自动登陆，无需操作对象手动输入用户名或者密码，可以避免随着应用系统增多，由于操作对象忘记用户名或者密码而导致无法登陆应用系统的情况发生，因此提升了操作对象登陆应用系统时的便捷性。

进一步参照图5，图5为一个实施例中自动登陆应用系统的流程示意图，具体如下：在计算机启动后，自动运行登陆客户端，登陆客户端定时抓取操作系统的桌面图像P1；将P1与应用模型数据库中的图像（预设图像）进行对比图像特征比对，找出与P1相似度最高的预设图像，该相似度最高的预设图像对应的应用系统数据记为应用信息A1；利用预训练AI模型预测（进行目标检测）P1中的应用信息A2；若A1与A2不一致，则返回执行步骤：登陆客户端定时抓取操作系统的桌面图像P1；若A1与A2一致，则从P1中提取窗口与控件信息S1，S1包括窗口坐标、控件坐标以及控件类型等；获取操作系统的环境变量信息与计算机特征E1，E1包括至少包括操作系统的用户名、计算机网络IP地址以及计算机网络MAC地址中的一种；利用E1和A1从本地数据库或者远程服务器查询登陆凭据信息U1（用户名与密码组合）；通过模拟键盘或者句柄拦截等方式处理S1，将U1填入应用系统的登陆控件中；完成自动登陆。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的应用系统登陆方法的应用系统登陆装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个应用系统登陆装置实施例中的具体限定可以参见上文中对于应用系统登陆方法的限定，在此不再赘述。

在一个实施例中，如图6所示，提供了一种应用系统登陆装置，包括：应用系统信息提取模块、环境变量信息获取模块、查询模块和自动登陆模块，其中：

应用系统信息提取模块602，用于提取操作系统的桌面图像中的应用系统信息。

环境变量信息获取模块604，用于若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息。

查询模块606，用于根据所述系统环境变量信息和所述应用系统信息，查询登陆凭据信息。

自动登陆模块608，用于根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统。

在一个实施例中，所述自动登陆模块608还用于：

从所述应用系统信息中提取应用系统的窗口附加信息；根据所述窗口附加信息，将所述登陆凭据信息输入所述应用系统对应的登陆控件；通过所述登陆控件登陆所述应用系统。

在一个实施例中，所述窗口附加信息包括窗口位置信息、控件位置信息以及控件类型信息；所述自动登陆模块608还用于：

根据所述窗口位置信息以及所述控件位置信息，定位所述应用系统的登陆窗口中各登陆控件，得到控件定位信息；根据所述控件类型信息和所述控件定位信息，将所述登陆凭据信息输入所述登陆控件。

在一个实施例中，所述登陆凭据信息包括登陆账号以及登陆密码；所述自动登陆模块608还用于：

根据所述控件类型信息，在所述控件定位信息中确定第一控件的第一定位信息和第二控件的第二定位信息；根据所述第一定位信息，将所述登陆账号输入所述第一控件；根据所述第二定位信息，将所述登陆密码输入所述第二控件。

在一个实施例中，该装置还包括：

安全登陆自动验证模块（图未示出），用于根据所述控件类型信息，在所述控件定位信息中确定安全登陆控件的第三定位信息；根据所述第三定位信息，通过所述安全登陆控件进行安全登陆验证。

在一个实施例中，所述安全登陆自动验证模块还用于：

从所述窗口附加信息中提取安全验证码，基于所述第三定位信息，通过将所述安全验证码输入所述安全登陆控件，对本次登陆进行安全登陆验证。

在一个实施例中，所述安全登陆自动验证模块还用于：

从所述窗口附加信息中确定拼图拖动距离，基于所述第三定位信息，通过将所述安全登陆控件中的拼图控制按键拖动所述拼图拖动距离，对本次登陆进行安全登陆验证。

在一个实施例中，所述应用系统信息包括第一检测信息和第二检测信息；所述应用系统信息提取模块602还用于：

通过将所述桌面图像与各预设图像进行图像特征对比，在各所述预设图像中查找与所述桌面图像相似度最高的目标预存图像；将所述目标预存图像对应的预存应用数据作为第一检测信息；通过预设目标检测模型，对所述桌面图像进行目标检测，得到第二检测信息。

在一个实施例中，该装置还包括：

登陆意图检测模块，用于确定所述第一检测信息和所述第二检测信息是否一致；若一致，则确定操作对象存在登陆意图；若不一致，则确定操作对象不存在登陆意图。

上述应用系统登陆装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种应用系统登陆方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

提取操作系统的桌面图像中的应用系统信息；若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息；根据所述系统环境变量信息和所述应用系统信息，查询登陆凭据信息；根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

从所述应用系统信息中提取应用系统的窗口附加信息；根据所述窗口附加信息，将所述登陆凭据信息输入所述应用系统对应的登陆控件；通过所述登陆控件登陆所述应用系统。

在一个实施例中，所述窗口附加信息包括窗口位置信息、控件位置信息以及控件类型信息；处理器执行计算机程序时还实现以下步骤：

根据所述窗口位置信息以及所述控件位置信息，定位所述应用系统的登陆窗口中各登陆控件，得到控件定位信息；根据所述控件类型信息和所述控件定位信息，将所述登陆凭据信息输入所述登陆控件。

在一个实施例中，所述登陆凭据信息包括登陆账号以及登陆密码；处理器执行计算机程序时还实现以下步骤：

根据所述控件类型信息，在所述控件定位信息中确定第一控件的第一定位信息和第二控件的第二定位信息；根据所述第一定位信息，将所述登陆账号输入所述第一控件；根据所述第二定位信息，将所述登陆密码输入所述第二控件。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据所述控件类型信息，在所述控件定位信息中确定安全登陆控件的第三定位信息；根据所述第三定位信息，通过所述安全登陆控件进行安全登陆验证。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

从所述窗口附加信息中提取安全验证码，基于所述第三定位信息，通过将所述安全验证码输入所述安全登陆控件，对本次登陆进行安全登陆验证。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

从所述窗口附加信息中确定拼图拖动距离，基于所述第三定位信息，通过将所述安全登陆控件中的拼图控制按键拖动所述拼图拖动距离，对本次登陆进行安全登陆验证。

在一个实施例中，所述应用系统信息包括第一检测信息和第二检测信息；处理器执行计算机程序时还实现以下步骤：

通过将所述桌面图像与各预设图像进行图像特征对比，在各所述预设图像中查找与所述桌面图像相似度最高的目标预存图像；将所述目标预存图像对应的预存应用数据作为第一检测信息；通过预设目标检测模型，对所述桌面图像进行目标检测，得到第二检测信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定所述第一检测信息和所述第二检测信息是否一致；若一致，则确定操作对象存在登陆意图；若不一致，则确定操作对象不存在登陆意图。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

提取操作系统的桌面图像中的应用系统信息；若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息；根据所述系统环境变量信息和所述应用系统信息，查询登陆凭据信息；根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

从所述应用系统信息中提取应用系统的窗口附加信息；根据所述窗口附加信息，将所述登陆凭据信息输入所述应用系统对应的登陆控件；通过所述登陆控件登陆所述应用系统。

在一个实施例中，所述窗口附加信息包括窗口位置信息、控件位置信息以及控件类型信息；计算机程序被处理器执行时还实现以下步骤：

根据所述窗口位置信息以及所述控件位置信息，定位所述应用系统的登陆窗口中各登陆控件，得到控件定位信息；根据所述控件类型信息和所述控件定位信息，将所述登陆凭据信息输入所述登陆控件。

在一个实施例中，所述登陆凭据信息包括登陆账号以及登陆密码；计算机程序被处理器执行时还实现以下步骤：

根据所述控件类型信息，在所述控件定位信息中确定第一控件的第一定位信息和第二控件的第二定位信息；根据所述第一定位信息，将所述登陆账号输入所述第一控件；根据所述第二定位信息，将所述登陆密码输入所述第二控件。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据所述控件类型信息，在所述控件定位信息中确定安全登陆控件的第三定位信息；根据所述第三定位信息，通过所述安全登陆控件进行安全登陆验证。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

从所述窗口附加信息中提取安全验证码，基于所述第三定位信息，通过将所述安全验证码输入所述安全登陆控件，对本次登陆进行安全登陆验证。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

从所述窗口附加信息中确定拼图拖动距离，基于所述第三定位信息，通过将所述安全登陆控件中的拼图控制按键拖动所述拼图拖动距离，对本次登陆进行安全登陆验证。

在一个实施例中，所述应用系统信息包括第一检测信息和第二检测信息；计算机程序被处理器执行时还实现以下步骤：

通过将所述桌面图像与各预设图像进行图像特征对比，在各所述预设图像中查找与所述桌面图像相似度最高的目标预存图像；将所述目标预存图像对应的预存应用数据作为第一检测信息；通过预设目标检测模型，对所述桌面图像进行目标检测，得到第二检测信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定所述第一检测信息和所述第二检测信息是否一致；若一致，则确定操作对象存在登陆意图；若不一致，则确定操作对象不存在登陆意图。

需要说明的是，本申请所涉及的操作对象信息（包括但不限于操作对象设备信息、操作对象个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经操作对象授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种应用系统登陆方法，其特征在于，所述方法包括：

提取操作系统的桌面图像中的应用系统信息；

若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息；

根据所述系统环境变量信息和所述应用系统信息，查询登陆凭据信息；

根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统。

2.根据权利要求1所述应用系统登陆方法，其特征在于，所述根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统，包括：

从所述应用系统信息中提取应用系统的窗口附加信息；

根据所述窗口附加信息，将所述登陆凭据信息输入所述应用系统对应的登陆控件；

通过所述登陆控件登陆所述应用系统。

3.根据权利要求2所述应用系统登陆方法，其特征在于，所述窗口附加信息包括窗口位置信息、控件位置信息以及控件类型信息；

所述根据所述窗口附加信息，将所述登陆凭据信息输入所述应用系统对应的登陆控件，包括：

根据所述窗口位置信息以及所述控件位置信息，定位所述应用系统的登陆窗口中各登陆控件，得到控件定位信息；

根据所述控件类型信息和所述控件定位信息，将所述登陆凭据信息输入所述登陆控件。

4.根据权利要求3所述应用系统登陆方法，其特征在于，所述登陆凭据信息包括登陆账号以及登陆密码；

所述根据所述控件类型信息和所述控件定位信息，将所述登陆凭据信息输入所述登陆控件，包括：

根据所述控件类型信息，在所述控件定位信息中确定第一控件的第一定位信息和第二控件的第二定位信息；

根据所述第一定位信息，将所述登陆账号输入所述第一控件；

根据所述第二定位信息，将所述登陆密码输入所述第二控件。

5.根据权利要求3所述应用系统登陆方法，其特征在于，在所述通过所述登陆控件登陆所述应用系统之后，包括：

根据所述控件类型信息，在所述控件定位信息中确定安全登陆控件的第三定位信息；

根据所述第三定位信息，通过所述安全登陆控件进行安全登陆验证。

6.根据权利要求5所述应用系统登陆方法，其特征在于，所述根据所述第三定位信息，通过所述安全登陆控件进行安全登陆验证，至少包括以下各项中的一项：

从所述窗口附加信息中提取安全验证码，基于所述第三定位信息，通过将所述安全验证码输入所述安全登陆控件，对本次登陆进行安全登陆验证；

从所述窗口附加信息中确定拼图拖动距离，基于所述第三定位信息，通过将所述安全登陆控件中的拼图控制按键拖动所述拼图拖动距离，对本次登陆进行安全登陆验证。

7.根据权利要求1所述应用系统登陆方法，其特征在于，所述应用系统信息包括第一检测信息和第二检测信息；

所述提取操作系统的桌面图像中的应用系统信息，包括：

通过将所述桌面图像与各预设图像进行图像特征对比，在各所述预设图像中查找与所述桌面图像相似度最高的目标预存图像；

将所述目标预存图像对应的预存应用数据作为第一检测信息；

通过预设目标检测模型，对所述桌面图像进行目标检测，得到第二检测信息；

在所述若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息之前，所述方法还包括：

确定所述第一检测信息和所述第二检测信息是否一致；

若一致，则确定操作对象存在登陆意图；

若不一致，则确定操作对象不存在登陆意图。

8.一种应用系统登陆装置，其特征在于，所述装置包括：

应用系统信息提取模块，用于提取操作系统的桌面图像中的应用系统信息；

环境变量信息获取模块，用于若根据所述应用系统信息确定操作对象存在登陆意图，则获取所述操作系统的系统环境变量信息；

查询模块，用于根据所述系统环境变量信息和所述应用系统信息，查询登陆凭据信息；

自动登陆模块，用于根据所述登陆凭据信息，登陆所述应用系统信息对应的应用系统。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images