CN110035088B - 基于rpa远程控制操作系统自动登录的方法及设备 - Google Patents

基于rpa远程控制操作系统自动登录的方法及设备 Download PDF

Info

Publication number
CN110035088B
CN110035088B CN201910345536.XA CN201910345536A CN110035088B CN 110035088 B CN110035088 B CN 110035088B CN 201910345536 A CN201910345536 A CN 201910345536A CN 110035088 B CN110035088 B CN 110035088B
Authority
CN
China
Prior art keywords
login
server
remote
application server
operating system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910345536.XA
Other languages
English (en)
Other versions
CN110035088A (zh
Inventor
陈成乐
周文贵
张毅麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Shangji Network Technology Co ltd
Original Assignee
Xiamen Shangji Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Shangji Network Technology Co ltd filed Critical Xiamen Shangji Network Technology Co ltd
Priority to CN201910345536.XA priority Critical patent/CN110035088B/zh
Publication of CN110035088A publication Critical patent/CN110035088A/zh
Application granted granted Critical
Publication of CN110035088B publication Critical patent/CN110035088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0815—Network architectures or network communication protocols for network security for authentication of entities providing single-sign-on or federations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及基于RPA远程控制操作系统自动登录的方法，包括管理平台、应用服务器和登录服务器，登录服务器自动执行如下步骤：登录服务器接收来自管理平台的操作系统登录请求，登录请求中包含应用服务器的IP地址以及该应用服务器的操作系统登录密码；启动登录服务器上的远程桌面控制客户端，登录服务器控制远程桌面控制客户端访问应用服务器的IP地址，获取到远程桌面影像画面；登录服务器控制远程桌面控制客户端发送登录指令，登录服务器获取到登录密码输入界面；登录服务器检索登录密码输入界面中密码输入框的位置，将操作系统登录密码输入所述密码输入框并执行登录，完成应用服务器的远程自动登录。本发明实现了基于RPA的远程控制应用服务器的自动登录。

Description

基于RPA远程控制操作系统自动登录的方法及设备
技术领域
本发明涉及一种基于RPA远程控制操作系统自动登录的方法及设备，属于RPA领域。
背景技术
RPA(Robotic Process Automation)，译为机器人流程自动化，又可以称为数字化劳动力，是一种智能化软件，通过模拟并增强人类与计算机的交互过程，实现工作流程中的自动化。随着人工智能的发展，AI+RPA的应用场景越来越广泛，通过RPA模拟人机交互行为以执行业务流程。例如，RPA可以利用用户界面来捕获和操作应用程序，就如同人工操作。
以windows系统为例，现有的大部分机器运行了windows操作系统，机器上安装有各种程序，并要求操作系统处于登录且非锁屏状态下运行被操作程序。在企业的安全要求中对操作系统的登录权限有严格的要求，不能设置免密登录。当机器执行重启、注销等系统维护后，需要人工输入操作系统的用户密码登录系统，方可启动被操作的程序。当机器数量较多时，需要人工执行繁琐重复的登录操作，且运维管理人员必须接触到操作系统的密码明文，存在泄密隐患。
发明内容
为了解决上述技术问题，本发明提供一种基于RPA远程控制操作系统自动登录的方法，解决了现有技术中人工重复执行登录操作，且密码安全性低等问题。
本发明的技术方案一如下：
基于RPA远程控制操作系统自动登录的方法，包括管理平台、应用服务器和登录服务器，所述登录服务器通过RPA自动执行如下步骤：所述登录服务器接收来自管理平台的操作系统登录请求，所述登录请求中包含需要实现自动登录的应用服务器的IP地址以及该应用服务器的操作系统登录密码；启动登录服务器上的远程桌面控制客户端，所述登录服务器控制所述远程桌面控制客户端访问所述应用服务器的IP地址，获取到远程桌面影像画面；所述登录服务器控制所述远程桌面控制客户端发送登录指令，所述登录服务器捕获登录密码输入界面；所述登录服务器检索所述登录密码输入界面中密码输入框的位置，将所述操作系统登录密码输入所述密码输入框并执行登录操作，登录成功，完成应用服务器的远程自动登录。
更优地，所述登录服务器获取到所述远程桌面影像画面后，执行如下步骤：根据预设区域位置截取所述远程桌面影像画面，得到第一图像；比对所述第一图像与所述应用服务器上操作系统的登录界面上相同位置的图像是否相同，若相同，则判定所述远程桌面影像画面为登录界面；所述登录服务器控制所述远程桌面控制客户端向所述应用服务器发送登录指令。
更优地，所述登录服务器检索所述登录密码输入界面中密码输入框的位置，所述检索步骤为：逐个检查所述登录密码输入界面中的每个像素，检测白色点；发现白色点后记下该点坐标(x，y)，然后向右横向逐个识别像素的颜色，直到出现非白色点；若连续出现白色点的数量n超过预设的第一阈值，则以白色点(x，y)为起点，向下纵向检查逐个像素，直到出现非白色点，若纵向白色点的数量m超过预设的第二阈值，则判定该该区域是密码输入框，且判定密码输入框的矩形区域为{left:x,top:y,right:x+n,bottom:y+m}。
更优地，完成应用服务器的远程自动登录后，再次确认是否登录成功，具体执行如下步骤：根据所述预设区域位置截取登陆后的应用服务器上的桌面图像，得到第二图像，比对所述第二图像与所述应用服务器上操作系统的登录界面上相同位置的图像是否相同，若相同，则登录失败；否则，认定远程登录成功。
更优地，所述登录服务器和应用服务器运行windows操作系统，所述登录服务器控制所述远程桌面控制客户端访问所述应用服务器的IP地址，其过程如下：使用Win32 API找到所述远程桌面控制客户端上用于输入远程主机IP的编辑框，将所述应用服务器的IP地址设置到所述编辑框中，然后找到连接请求按钮，发送鼠标点击操作指令。
更优地，所述登录服务器和应用服务器运行windows操作系统，所述根据预设区域位置截取图像是使用Win32 API找到截取位置并截取。
更优地，所述登录服务器和应用服务器运行windows操作系统，所述登录服务器控制所述远程桌面控制客户端发送登录指令，具体地，使用Win32 API找到所述远程桌面控制客户端上登录指令按钮，发送鼠标点击操作指令。
更优地，所述登录服务器和应用服务器运行windows操作系统，所述将操作系统登录密码输入所述密码输入框并执行登录，具体地，使用Win32 API发送鼠标点击所述密码输入框对应的矩形区域内的坐标，将输入焦点定位到所述密码输入框内，然后使用Win32 API发送键盘输入事件，输入所述系统登录密码和回车确认登录。
更优地，所述登录请求中还包含远程登录控制密码，所述登录服务器控制所述远程桌面控制客户端访问所述应用服务器的IP地址，同时还需输入所述远程登录控制密码，然后应用服务器发出连接请求，获取到远程桌面影像画面。
本发明的技术方案二如下：
一种基于RPA远程控制操作系统自动登录的设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：
接收来自管理平台的登录请求，所述登录请求中包含需要实现自动登录的应用服务器的IP地址以及该应用服务器的操作系统登录密码；启动远程桌面控制客户端，控制所述远程桌面控制客户端访问所述应用服务器的IP地址，获取到远程桌面影像画面；控制所述远程桌面控制客户端发送登录指令，获取到登录密码输入界面；检索所述登录密码输入界面中密码输入框的位置，将所述操作系统登录密码输入所述密码输入框并执行登录，完成应用服务器的远程自动登录。
本发明具有如下有益效果：
1、本发明一种基于RPA远程控制操作系统自动登录的方法和设备，部署独立的登录服务器，自动完成远程访问应用服务器，并执行登录操作，通过登录服务器实现基于RPA的远程自动登录，且自动登录过程无需人工管理密码明文，系统管理更为安全。
2、本发明一种基于RPA远程控制操作系统自动登录的方法和设备，截取远程桌面影像画面中的一区域，判定是否为登录界面，防止误操作导致锁屏，对已登录的系统造成干扰。
3、本发明一种基于RPA远程控制操作系统自动登录的方法和设备，通过检测像素点的RGB值，确定登录密码输入界面中密码输入框的位置，从而实现自动输入密码。
4、本发明一种基于RPA远程控制操作系统自动登录的方法和设备，完成登录后再次截图确认是否为登录界面，确保远程应用服务器已成功登录。
5、本发明一种基于RPA远程控制操作系统自动登录的方法和设备，应用于windows操作系统，通过Win32 API即可实现基于RPA的远程自动登录。
6、本发明一种基于RPA远程控制操作系统自动登录的方法和设备，通过远程登录控制密码双重控制自动登录流程，提高自动登录过程的安全性。
附图说明
图1为本发明基于RPA远程控制操作系统自动登录方法的应用框图；
图2为本发明基于RPA远程控制操作系统自动登录方法的流程图；
图3为本发明基于RPA远程控制操作系统自动登录方法的另一流程图；
图4为本发明的远程桌面控制客户端示意图；
图5为本发明的远程登录控制密码输入框示意图；
图6为本发明的远程桌面控制客户端获取到应用服务器的登录界面示意图；
图7为本发明的在远程桌面控制客户端发送登录指令的示意图；
图8为本发明的在远程桌面控制客户端获取到的登录密码输入界面示意图；
图9为本发明的在远程桌面控制客户端获取到的应用服务器桌面图像示意图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1，基于RPA远程控制操作系统自动登录的方法，包括管理平台、应用服务器和登录服务器，所述登录服务器通过RPA自动执行如下步骤：所述登录服务器接收来自管理平台的操作系统登录请求，所述登录请求中包含需要实现自动登录的应用服务器的IP地址以及该应用服务器的操作系统登录密码；启动登录服务器上的远程桌面控制客户端，所述登录服务器控制所述远程桌面控制客户端访问所述应用服务器的IP地址，获取到远程桌面影像画面；所述登录服务器控制所述远程桌面控制客户端发送登录指令，所述登录服务器捕获登录密码输入界面；所述登录服务器检索所述登录密码输入界面中密码输入框的位置，将所述操作系统登录密码输入所述密码输入框并执行登录操作，登录成功，完成应用服务器的远程自动登录。
请参阅图2，所述登录服务器获取到所述远程桌面影像画面后，若当前远程桌面影像画面已经是系统登录后的桌面图像，发出所述登录指令，则会导致已登录的桌面被锁屏，因此，更优地，为防止锁屏，在发送登录指令之前，先执行如下步骤：根据预设区域位置截取所述远程桌面影像画面，得到第一图像；将所述第一图像判断与所述应用服务器上操作系统的登录界面(如图6所示)上相同位置的图像是否相同，若相同，则判定所述远程桌面影像画面为登录界面；所述登录服务器控制所述远程桌面控制客户端发送登录指令。
请参阅图2，完成应用服务器的远程自动登录后，再次确认是否登录成功，具体执行如下步骤：根据所述预设区域位置截取登陆后的应用服务器上的桌面图像(如图9所示)，得到第二图像，比对所述第二图像与所述应用服务器上操作系统的登录界面上相同位置的图像是否相同，若相同，则登录失败；否则，认定远程登录成功。
本发明基于RPA远程控制操作系统自动登录的方法，部署独立的登录服务器，自动完成远程访问应用服务器，并执行登录操作，通过登录服务器实现基于RPA的远程自动登录，且自动登录过程无需人工管理密码明文，系统管理更为安全。
现以登录服务器和应用服务器均运行windows操作系统为例，具体说明远程自动登录方法：
基于RPA远程控制操作系统自动登录的方法，包括管理平台、应用服务器和登录服务器，登录服务器提供socket、http、dubbo等接口服务，通过该接口服务可以与其他管理平台进行深度集成，如集中的运维管理系统、集成应用系统等。当其他管理平台调用所述服务接口发起登录请求时，登录服务器开始执行登录流程。
所述登录服务器接收来自管理平台的操作系统登录请求，启动登录服务器上的远程桌面控制客户端，现有主流的远程控制工具软件，如vnc、radmin等，本实施例以开源工具TightVnc为例，执行tvnviewer.exe，该远程桌面控制客户端在开始远程访问时，必须输入远程桌面控制密码，因此，所述登录请求中包含需要实现自动登录的应用服务器的IP地址、该应用服务器的操作系统登录密码以及远程登录控制密码；所述登录服务器控制所述远程桌面控制客户端访问所述应用服务器的IP地址，具体地，使用Win32 API找到所述远程桌面控制客户端上用于输入远程应用服务器IP的编辑框，如图4中的Remote Host编辑框，将所述应用服务器的IP地址设置到所述编辑框中，然后找到连接请求按钮，如图4中的Connect按钮发送鼠标点击操作指令，发送连接请求。所述远程桌面控制客户端跳出用于输入远程登录控制密码的密码输入框，具体地，如图5所示，使用Win32 API找到Password密码框，将远程登录控制密码设置到密码框中，然后使用Win32 API找到OK按钮发送鼠标点击操作指令。登录服务器上获取到远程桌面影像画面(如图6所示，所述远程桌面影像画面即为登录界面示意图)，根据预设区域位置截取所述远程桌面影像画面，得到第一图像，预设区域位置是根据windows系统的登录界面特点进行设置，例如设置远程桌面影像画面顶部中间大约200*200区域为截取区域；比对所述第一图像与所述应用服务器上操作系统的登录界面上相同位置的图像是否相同，判断是否相同的方式，较为简单地，检测第一图像中个像素点的RGB值域，根据winows系统登录界面的特点，该截取区域的RGB值范围为120～160(灰色)，若相同，则判定所述远程桌面影像画面为登录界面；所述登录服务器控制所述远程桌面控制客户端发送登录指令，如图7所示，使用Win32 API发送鼠标点击工具栏中“Send CTL+Alt+Del”按钮，即所述登录服务器控制所述远程桌面控制客户端发送登录指令，所述登录服务器获取到登录密码输入界面，如图8所示；由于登录服务器上呈现的登录密码输入界面为图像格式，因此，必须经过检索才能准确定位密码输入框的位置，所述登录服务器检索所述登录密码输入界面中密码输入框的位置，具体过程为：逐个检查所述登录密码输入界面中的每个像素，或者根据windows系统密码输入框位置特点，截取登录密码输入界面中间部分的图像，逐个检查每个像素，然后进行像素RGB值判断，检测白色点(RGB分别为255，255，255)；发现白色点后记下该点坐标(x，y)，然后向右横向逐个识别像素的颜色，直到出现非白色点；若连续出现白色点的数量n超过预设的第一阈值(例如n为180，第一阈值为150)，则以白色点(x，y)为起点，向下纵向检查逐个像素，直到出现非白色点，若纵向白色点的数量m超过预设的第二阈值(例如m为20，第二阈值为15)，则判定该该区域是密码输入框，且密码输入框的矩形区域为{left:x,top:y,right:x+n,bottom:y+m}。使用Win32 API发送鼠标点击所述密码输入框对应的矩形区域内的坐标，将输入焦点定位到所述密码输入框内，然后使用Win32 API发送键盘输入事件，输入所述系统登录密码和回车确认登录，完成应用服务器的远程自动登录，如图9所示。
需要说明的是，Win32 API即为Microsoft 32位平台的应用程序编程接口(Application Programming Interface)。所有在Win32平台上运行的应用程序都可以调用win32 API提供的全部函数，其中窗口管理函数及窗口通用控制类函数可以用于对指定程序进行用户界面操作。例如，实现自动化操作常用函数有：
ShellExecute启动程序
FindWindow通过标题、窗口类查找窗口
GetDlgItem获取子窗口
EnumChildWindows枚举父窗口的所有子窗口
GetWindowRect获取窗口的边框矩形的尺寸
PostMessage发送异步消息
SendMessage发送同步消息
keybd_event键盘击键事件
mouse_event鼠标事件
实施例二
一种基于RPA远程控制操作系统自动登录的设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤，请参阅图2：
接收来自管理平台的操作系统登录请求，所述登录请求中包含需要实现自动登录的应用服务器的IP地址以及该应用服务器的操作系统登录密码；启动远程桌面控制客户端，控制所述远程桌面控制客户端访问所述应用服务器的IP地址，获取到远程桌面影像画面；控制所述远程桌面控制客户端发送登录指令，捕获登录密码输入界面；检索所述登录密码输入界面中密码输入框的位置，将所述操作系统登录密码输入所述密码输入框并执行登录操作，登录成功，完成应用服务器的远程自动登录。
请参阅图3，获取到所述远程桌面影像画面后，若当前远程桌面影像画面已经是系统登录后的桌面图像(如图6所示)，发出所述登录指令，则会导致已登录的桌面被锁屏，因此，更优地，为防止锁屏，在发送登录指令之前，先执行如下步骤：根据预设区域位置截取所述远程桌面影像画面，得到第一图像；比对所述第一图像与所述应用服务器上操作系统的登录界面上相同位置的图像是否相同，若相同，则判定所述远程桌面影像画面为登录界面；控制所述远程桌面控制客户端发送登录指令。
完成应用服务器的远程自动登录后，再次确认是否登录成功，具体执行如下步骤：根据所述预设区域位置截取登陆后的应用服务器上的桌面图像(如图9所示)，得到第二图像，比对所述第二图像与所述应用服务器上操作系统的登录界面上相同位置的图像是否相同，若相同，则登录失败；否则，认定远程登录成功。
本发明基于RPA远程控制操作系统自动登录的设备，自动完成远程访问应用服务器，并执行登录操作，实现基于RPA的远程自动登录，且自动登录过程无需人工管理密码明文，系统管理更为安全。
现以本设备和应用服务器均运行windows操作系统为例，具体说明远程自动登录方法：
基于RPA远程控制操作系统自动登录的设备，提供socket、http、dubbo等接口服务，通过该接口服务可以与其他管理平台进行深度集成，如集中的运维管理系统、集成应用系统等。当其他管理平台调用所述服务接口发起登录请求时，开始执行登录流程。
首先，接收来自管理平台的登录请求，启动远程桌面控制客户端，现有主流的远程控制工具软件，如vnc、radmin等，本实施例以开源工具TightVnc为例，执行tvnviewer.exe，该远程桌面控制客户端在开始远程访问时，必须输入远程桌面控制密码，因此，所述登录请求中包含需要实现自动登录的应用服务器的IP地址、该应用服务器的操作系统登录密码以及远程登录控制密码；接着，控制所述远程桌面控制客户端访问所述应用服务器的IP地址，具体地，使用Win32 API找到所述远程桌面控制客户端上用于输入远程应用服务器IP的编辑框，如图4中的Remote Host编辑框，将所述应用服务器的IP地址设置到所述编辑框中，然后找到连接请求按钮，如图4中的Connect按钮发送鼠标点击操作指令，发送连接请求。所述远程桌面控制客户端跳出用于输入远程登录控制密码的密码输入框，具体地，如图5所示，使用Win32 API找到Password密码框，将远程登录控制密码设置到密码框中，然后使用Win32 API找到OK按钮发送鼠标点击操作指令。然后，获取到远程桌面影像画面，根据预设区域位置截取所述远程桌面影像画面，得到第一图像，预设区域位置是根据windows系统的登录界面特点进行设置，例如设置远程桌面影像画面顶部中间大约200*200区域为截取区域；比对所述第一图像与所述应用服务器上操作系统的登录界面(如图6所示)上相同位置的图像是否相同，判断是否相同的方式，较为简单地，检测第一图像中个像素点的RGB值域，根据winows系统登录界面的特点，该截取区域的RGB值范围为120～160(灰色)，若相同，则判定所述远程桌面影像画面为登录界面；最后，控制所述远程桌面控制客户端发送登录指令，如图7所示，使用Win32 API发送鼠标点击工具栏中“Send CTL+Alt+Del”按钮，获取到登录密码输入界面，如图8所示；由于呈现的登录密码输入界面为图像格式，因此，必须经过检索才能准确定位密码输入框的位置，检索所述登录密码输入界面中密码输入框的位置，具体过程为：具体过程为：逐个检查所述登录密码输入界面中的每个像素，或者根据windows系统密码输入框位置特点，截取登录密码输入界面中间部分的图像，逐个检查每个像素，然后进行像素RGB值判断，检测白色点(RGB分别为255，255，255)；发现白色点后记下该点坐标(x，y)，然后向右横向逐个识别像素的颜色，直到出现非白色点；若连续出现白色点的数量n超过预设的第一阈值(例如n为180，第一阈值为150)，则以白色点(x，y)为起点，向下纵向检查逐个像素，直到出现非白色点，若纵向白色点的数量m超过预设的第二阈值(例如m为20，第二阈值为15)，则判定该该区域是密码输入框，且密码输入框的矩形区域为{left:x,top:y,right:x+n,bottom:y+m}。使用Win32 API发送鼠标点击所述密码输入框对应的矩形区域内的坐标，将输入焦点定位到所述密码输入框内，然后使用Win32 API发送键盘输入事件，输入所述系统登录密码和回车确认登录，完成应用服务器的远程自动登录，如图9所示。
本发明基于RPA远程控制操作系统自动登录的设备，自动完成远程访问应用服务器，并执行登录操作，实现基于RPA的远程自动登录，且自动登录过程无需人工管理密码明文，系统管理更为安全。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.基于RPA远程控制操作系统自动登录的方法，包括管理平台、应用服务器，其特征在于：还包括登录服务器，所述登录服务器通过RPA自动执行如下步骤：
所述登录服务器接收来自管理平台的操作系统登录请求，所述登录请求中包含需要实现自动登录的应用服务器的IP地址以及该应用服务器的操作系统登录密码；
启动登录服务器上的远程桌面控制客户端，所述登录服务器控制所述远程桌面控制客户端访问所述应用服务器的IP地址，获取到远程桌面影像画面；
所述登录服务器控制所述远程桌面控制客户端发送登录指令，所述登录服务器捕获登录密码输入界面；
所述登录服务器检索所述登录密码输入界面中密码输入框的位置，将所述操作系统登录密码输入所述密码输入框并执行登录操作，登录成功，完成应用服务器的远程自动登录；
所述登录服务器逐个检查所述登录密码输入界面中的每个像素，检测白色点；发现白色点后记下该白色点坐标(x，y)，然后向右横向逐个识别像素的颜色，直到出现非白色点；若连续出现白色点的数量n超过预设的第一阈值，则以白色点(x，y)为起点，向下纵向检查逐个像素，直到出现非白色点，若纵向白色点的数量m超过预设的第二阈值，则判定矩形区域{left:x,top:y,right:x+n,bottom:y+m}为密码输入框。
2.根据权利要求1所述的基于RPA远程控制操作系统自动登录的方法，其特征在于，所述登录服务器获取到所述远程桌面影像画面后，执行如下步骤：
根据预设区域位置截取所述远程桌面影像画面，得到第一图像；比对所述第一图像与所述应用服务器上操作系统的登录界面上相同位置的图像是否相同，若相同，则判定所述远程桌面影像画面为登录界面；所述登录服务器控制所述远程桌面控制客户端向应用服务器发送登录指令。
3.根据权利要求2所述的基于RPA远程控制操作系统自动登录的方法，其特征在于，完成应用服务器的远程自动登录后，登录服务器再次确认是否登录成功，具体执行如下步骤：根据预设区域位置截取登陆后的应用服务器上的桌面图像，得到第二图像，比对所述第二图像与所述应用服务器上操作系统的登录界面上相同位置的图像是否相同，若相同，则登录失败；否则，认定远程登录成功。
4.根据权利要求1所述的基于RPA远程控制操作系统自动登录的方法，其特征在于，所述登录服务器控制所述远程桌面控制客户端访问所述应用服务器的IP地址，其过程如下：
使用Win32 API找到所述远程桌面控制客户端上用于输入远程主机IP的编辑框，将所述应用服务器的IP地址设置到所述编辑框中，然后找到连接请求按钮，发送鼠标点击操作指令。
5.根据权利要求2或4所述的基于RPA远程控制操作系统自动登录的方法，其特征在于，所述登录服务器和应用服务器运行windows操作系统，根据预设区域位置截取图像是使用Win32 API找到截取位置并截取。
6.根据权利要求1或2所述的基于RPA远程控制操作系统自动登录的方法，其特征在于，所述登录服务器控制所述远程桌面控制客户端发送登录指令，具体地，使用Win32 API找到所述远程桌面控制客户端上登录指令按钮，发送鼠标点击操作指令。
7.根据权利要求1所述的基于RPA远程控制操作系统自动登录的方法，其特征在于，所述登录服务器和应用服务器运行windows操作系统，将操作系统登录密码输入所述密码输入框并执行登录，具体地，使用Win32 API发送鼠标点击所述密码输入框对应的矩形区域内的坐标，将输入焦点定位到所述密码输入框内，然后使用Win32 API发送键盘输入事件，输入所述系统登录密码和回车确认登录。
8.根据权利要求1所述的基于RPA远程控制操作系统自动登录的方法，其特征在于，所述登录请求中还包含远程登录控制密码，所述登录服务器控制所述远程桌面控制客户端访问所述应用服务器的IP地址，同时还需输入所述远程登录控制密码，然后应用服务器发出连接请求，获取到远程桌面影像画面。
9.一种基于RPA远程控制操作系统自动登录的设备，其特征在于，登录服务器包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如权利要求1至8任一所述的自动登录的步骤。
CN201910345536.XA 2019-04-26 2019-04-26 基于rpa远程控制操作系统自动登录的方法及设备 Active CN110035088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910345536.XA CN110035088B (zh) 2019-04-26 2019-04-26 基于rpa远程控制操作系统自动登录的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910345536.XA CN110035088B (zh) 2019-04-26 2019-04-26 基于rpa远程控制操作系统自动登录的方法及设备

Publications (2)

Publication Number Publication Date
CN110035088A CN110035088A (zh) 2019-07-19
CN110035088B true CN110035088B (zh) 2021-08-24

Family

ID=67240483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910345536.XA Active CN110035088B (zh) 2019-04-26 2019-04-26 基于rpa远程控制操作系统自动登录的方法及设备

Country Status (1)

Country Link
CN (1) CN110035088B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4004795A1 (en) * 2019-07-29 2022-06-01 Artificial Intelligence Robotics Pte. Ltd. Stickering method and system for linking contextual text elements to actions
CN110958217B (zh) * 2019-10-12 2022-02-08 平安科技（深圳）有限公司 远程控制服务器方法、装置、计算机设备及存储介质
JP7568371B2 (ja) * 2019-10-14 2024-10-16 ユーアイパス，インコーポレイテッド ロボティック・プロセス・オートメーションのためのアクティビティ対象選択のシステム及び方法
CN110717831B (zh) * 2019-10-15 2022-02-25 深圳迅策科技有限公司 基于rpa技术构建的多终端集中控制股票交易系统
CN110806934A (zh) * 2019-11-15 2020-02-18 四川中电启明星信息技术有限公司 基于rpa技术的智能一体机开发及多业务快速处理方法
US11233861B2 (en) * 2020-02-18 2022-01-25 UiPath, Inc. Inter-session automation for robotic process automation (RPA) robots
CN111460356B (zh) * 2020-04-23 2024-03-12 北京信安世纪科技股份有限公司 一种自动登录方法、装置、介质和设备
CN111726257A (zh) * 2020-06-30 2020-09-29 北京来也网络科技有限公司 Rpa机器人管理方法、平台及存储介质
CN112306605A (zh) * 2020-10-30 2021-02-02 深圳前海微众银行股份有限公司 基于rpa的应用程序操作方法、装置和存储介质
CN113014669B (zh) * 2021-03-24 2022-08-23 深圳市卡牛科技有限公司 基于rpa的代理服务方法、系统、服务器和存储介质
CN113569222B (zh) * 2021-07-12 2024-04-05 成都安恒信息技术有限公司 一种用于windows程序的单点登录方法
CN113660229B (zh) * 2021-07-30 2023-04-07 未鲲(上海)科技服务有限公司 基于rpa的多系统单点登录方法、装置、设备及介质
CN114398114A (zh) * 2021-08-31 2022-04-26 北京来也网络科技有限公司 基于ai的rpa系统分身界面的生成方法及装置
CN114619462A (zh) * 2022-02-21 2022-06-14 达而观信息科技（上海）有限公司 一种基于机器人流程自动化的远程桌面控制方法
CN115022308B (zh) * 2022-05-30 2023-08-04 平安科技（深圳）有限公司 远程系统的登录方法及其相关设备
CN114994226A (zh) * 2022-08-08 2022-09-02 广东电网有限责任公司佛山供电局 一种基于rpa机器人的气相色谱仪远程控制系统
CN116257837B (zh) * 2023-05-16 2023-08-22 深圳竹云科技股份有限公司 应用系统登陆方法、装置、计算机设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281331A (zh) * 2013-06-09 2013-09-04 浪潮电子信息产业股份有限公司 一种windows客户端登陆远程服务器桌面的方法
CN103366109A (zh) * 2013-08-14 2013-10-23 德讯科技股份有限公司 一种基于数字图像识别算法的XWindow代填方法
CN103685536A (zh) * 2013-12-20 2014-03-26 国云科技股份有限公司 一种独占式的虚拟桌面管理方法
CN104618435A (zh) * 2014-12-29 2015-05-13 北京奇虎科技有限公司 实现远程桌面的方法及远程桌面管理系统
CN105005716A (zh) * 2015-06-16 2015-10-28 中国科学院计算技术研究所 一种应用程序远程交付系统及远程交付方法
CN105577677A (zh) * 2015-12-31 2016-05-11 亿阳安全技术有限公司 一种基于j2ee的远程登录方法及系统
CN107666460A (zh) * 2016-07-27 2018-02-06 真相网络科技（北京）有限公司 基于移动互联网的远程智能取证系统及方法
CN108039966A (zh) * 2017-12-08 2018-05-15 北京奇艺世纪科技有限公司 一种实时控制消息服务器的方法及系统
CN108712376A (zh) * 2018-04-04 2018-10-26 北京奇虎科技有限公司 一种用于服务器登录的验证方法及装置
CN109118347A (zh) * 2018-07-20 2019-01-01 苏宁易购集团股份有限公司 一种自动化协作方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909397A (zh) * 2017-03-06 2017-06-30 北京潘达互娱科技有限公司 在Unity界面中生成输入框的方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281331A (zh) * 2013-06-09 2013-09-04 浪潮电子信息产业股份有限公司 一种windows客户端登陆远程服务器桌面的方法
CN103366109A (zh) * 2013-08-14 2013-10-23 德讯科技股份有限公司 一种基于数字图像识别算法的XWindow代填方法
CN103685536A (zh) * 2013-12-20 2014-03-26 国云科技股份有限公司 一种独占式的虚拟桌面管理方法
CN104618435A (zh) * 2014-12-29 2015-05-13 北京奇虎科技有限公司 实现远程桌面的方法及远程桌面管理系统
CN105005716A (zh) * 2015-06-16 2015-10-28 中国科学院计算技术研究所 一种应用程序远程交付系统及远程交付方法
CN105577677A (zh) * 2015-12-31 2016-05-11 亿阳安全技术有限公司 一种基于j2ee的远程登录方法及系统
CN107666460A (zh) * 2016-07-27 2018-02-06 真相网络科技（北京）有限公司 基于移动互联网的远程智能取证系统及方法
CN108039966A (zh) * 2017-12-08 2018-05-15 北京奇艺世纪科技有限公司 一种实时控制消息服务器的方法及系统
CN108712376A (zh) * 2018-04-04 2018-10-26 北京奇虎科技有限公司 一种用于服务器登录的验证方法及装置
CN109118347A (zh) * 2018-07-20 2019-01-01 苏宁易购集团股份有限公司 一种自动化协作方法及系统

Also Published As

Publication number Publication date
CN110035088A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN110035088B (zh) 基于rpa远程控制操作系统自动登录的方法及设备
US11343326B2 (en) Techniques for implementing persistently interactive software robots
US9317403B2 (en) Method for creating a label
CN109388532B (zh) 测试方法、装置、电子设备及计算机可读取存储介质
US11023364B2 (en) Method and system for automating the process of testing of software applications
CN110851299A (zh) 自动化流程的异常排除方法、装置、设备及存储介质
CN111858336B (zh) 一种软件自动化测试方法以及系统
CN108769175B (zh) 远程真机访问控制方法、装置、存储介质及电子设备
CN106713507B (zh) 一种批量云终端设备的管理方法及管理系统
CN114184885A (zh) 一种故障检测方法、装置及存储介质
JP6436705B2 (ja) テスト実行装置、テスト実行方法およびコンピュータプログラム
JP4293169B2 (ja) ネットワーク機器制御システム
CN110896394A (zh) 一种视频监控设备漏洞安全检测系统
CN108375964B (zh) 一种对话式机器管理方法及装置
CN113452931B (zh) 一种基于图像识别的拼屏互动方法、系统及智慧屏
CN112671814B (zh) 一种跨平台的设备开发方法、装置及系统
CN112835680A (zh) 一种Windows操作系统虚拟机自动设置密码的方法
JP6436704B2 (ja) テスト実行装置、テスト実行方法およびコンピュータプログラム
CN109104322B (zh) Fl-net通讯故障的解决方法、装置、可读存储介质及系统
CN107220149B (zh) 在Windows下对Linux系统中无线通讯模块调试数据抓取方法和系统
JP2013168072A (ja) 支援装置、支援プログラムおよび支援方法
CN113220195A (zh) 可显示虚拟窗口的屏幕交互系统
CN112738131B (zh) 一种基于Telnet协议的调试方法及其系统
CN116192603A (zh) 一种适用于不同厂商服务器的带外管理方法及装置
CN114553853A (zh) 一种远程控制应用的方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant