CN103366109A - 一种基于数字图像识别算法的XWindow代填方法 - Google Patents
一种基于数字图像识别算法的XWindow代填方法 Download PDFInfo
- Publication number
- CN103366109A CN103366109A CN2013102922521A CN201310292252A CN103366109A CN 103366109 A CN103366109 A CN 103366109A CN 2013102922521 A CN2013102922521 A CN 2013102922521A CN 201310292252 A CN201310292252 A CN 201310292252A CN 103366109 A CN103366109 A CN 103366109A
- Authority
- CN
- China
- Prior art keywords
- input frame
- image
- recognition algorithm
- xwindow
- digital image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000006467 substitution reaction Methods 0.000 title abstract 3
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004088 simulation Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000007650 screen-printing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明属于计算机及网络运维管理技术领域，是一种基于数字图像识别算法的XWindow代填方法，本发明通过计算机屏幕图像，运用相关算法识别并定位到XWindows登录界面的用户名，口令输入框，然后模拟用户鼠标点击操作，依次激活用户名，口令输入框，填入预设的账户和密码，从而实现代填。本发明的通用性强，兼容性好，不受代填界面的变化而影响代填，同时本发明可以经过改进优化后，适应更广阔的应用场景。
Description
技术领域
本发明属于计算机及网络运维管理技术领域，具体的说是一种基于数字图像识别算法的XWindow代填方法。
背景技术
据申请人了解：随着计算机及网络技术的发展，越来越多的领域应用了计算机及网络，甚至许多领域基本上完全依赖计算机及网络，尤其是计算机及网络非常密集的领域，例如电信机房、数据中心、银行等，对计算机及网络的运行维护，有着非常高的要求，尤其是日益增长的服务器/设备，每个服务器/设备对应多个账号，这些以几何级数增长的账号，出现明显的管理上的瓶颈。
经申请人研究调查：目前常用的针对大量账号的管理方法主要是通过预先配置账号密码，用户只需使用运维系统的账号密码登陆运维系统，选择需要运维的服务器或设备，运维系统将进行自动代填。而大量的常见的服务器/设备都是非Windows系统，也就是说是类Uninx系统。而XWindow对各种Uninx系统的图形界面有着很好的支持。
通过研究总结发现：XWindow是类似RDp/VNC的一种基于远程图像传输的系统，因此针对XWindow的代填不能像传统代填那样，使用枚举Windows控件，根据控件类别，名称等特征的方法进行用户名/密码输入框的定位/代填。
发明内容
本发明所要解决的技术问题是，克服现有技术的缺点，提出一种基于数字图像识别算法的XWindow代填方法，通过计算机屏幕图像，运用图像识别相关算法识别并定位到XWindows登录界面的用户名，口令输入框，然后模拟用户鼠标点击操作，依次激活用户名，口令输入框，填入预设的账户和密码，从而实现代填，本发明对目前XWindow登录界面的多样性有较好的兼容性。
本发明解决以上技术问题的技术方案是：
一种基于数字图像识别算法的XWindow代填方法，按以下步骤进行：
⑴代填第一阶段，通过WindowsAPI进行屏幕截图，获取图像；
⑵通过图像识别算法，在图像中寻找XWindows的登录用户名输入框；
⑶如果寻找不成功，则重复步骤⑴；
⑷根据寻找到的输入框的坐标计算输入框中心，同时将鼠标移动到输入框坐标，模拟用户点击，激活输入框；
⑸可再次检测屏幕图像，确认寻找到的输入框正确有效；
⑹模拟键盘输入帐户，并回车；
⑺代填第二阶段，通过WindowsAPI进行屏幕截图，获取图像；
⑻过图像识别算法，在图像中寻找XWindows的登录密码输入框；
⑼如果寻找不成功，则重复步骤（7）；
⑽根据寻找到的输入框的坐标计算输入框中心，同时将鼠标移动到输入框坐标，模拟用户点击，激活输入框；
⑾可再次检测屏幕图像，确认寻找到的输入框正确有效。（此步骤可省略）；
⑿模拟键盘输入密码，并回车；
⒀代填完成。
本发明进一步限定的技术方案是:
前述的基于数字图像识别算法的XWindow代填方法，步骤⑴中，截取的屏幕图像为32位位图格式，为了提高效率，图像不以磁盘文件保存，直接存储在计算机内存中。
前述的基于数字图像识别算法的XWindow代填方法，步骤⑵中，图像识别算法是通过扫描图像，将符合编辑框的矩形寻找出来，并根据宽度和高度范围，进行筛选，最后获得最可能的结果，结果以数组的形式返回，同时返回数组元素的个数；所述矩形的定义为Rect（Left，Top，Right，Bottom）。
前述的基于数字图像识别算法的XWindow代填方法，步骤⑷中的输入框中心点坐标Point（X，Y）的计算方法为：
X =（Left+Right）/2
Y =（Top+Bottom）/2。
步骤⑸中，再次检测屏幕图像，是因为部分输入框内部含有文字提示信息，激活该输入框后，内部文字信息将会清空，所以为了提高准确率，可以再次检测，如果坐标吻合，则认为成功。如果不吻合，则可能是不支持的特例，需要修改完善算法。
步骤(6)中，几乎所有的XWindows系统登录界面输入用户名后，按回车，紧接着都是密码输入界面，因此本发明利用这个规律，降低了复杂性，提高了方法的通用性。
本发明的有益效果是：
本发明实现了通过计算机屏幕图像，运用相关算法识别并定位到XWindows登录界面的用户名，口令输入框，然后模拟用户鼠标点击操作，依次激活用户名，口令输入框，填入预设的账户和密码，从而实现代填。
附图说明
图1是输入框代填实现的整体步骤。
图2是本发明的流程图。
具体实施方式
实施例1
输入框代填实现的整体步骤如图1所示，由于用户名/口令输入框在本质上是一样的，所以下文统称为输入框。用户名口令输入框的检测/识别/定位统称为：输入框检测/识别/定位。
输入框检测实现的步骤：
⑴逐行扫图像，在每一行中逐点检测，是否为输入框的左上角或右上角；
⑵将可疑的输入框的左上角或右上角坐标记录到集合A中；
⑶逐行扫图像，在每一行中逐点检测，是否为输入框的左下角或右下角；
⑷将可疑的输入框的左上角或右上角坐标到集合A中匹配；
⑸匹配成功的4个顶点，取左上角和右下角的坐标，记录到集合B中。
输入框识别实现的步骤：
⑴根据检测到的输入框的宽度和高度，剔除无效的结果；
⑵根据检测到的输入框在整个图像（屏幕）中的位置，剔除无效结果；
⑶根据检测到的输入框内部含有的杂质（主要是图标/文字等内容）数量和分布，剔除无效结果。
输入框定位实现的步骤：
⑴为防止用户移动鼠标或按动键盘，干扰代填过程，临时锁定鼠标和键盘；
⑵根据寻找到的输入框的坐标计算输入框中心，记为P(X，Y)；
⑶将鼠标移动到输入框中心坐标，发送鼠标点击消息，模拟用户点击，激活输入框；
输入框代填实现的步骤：
⑴再次截取屏幕图像，寻找输入框，假设为P’(X’，Y’)；
⑵判断P’与P，确定输入框准确无误；
⑶将发送键盘消息，模拟用户输入用户名（或口令）；
⑷发送键盘消息，模拟用户输入回车键（Enter），从而实现代填。
本实施例应用在某IT基本设施运维管理系统中，用来对XWindows类的运维操作进行代填登录。其具体部署方式为：XWindow代填主程序的部署：后台服务程序形式，部署在应用程序目录。输入框检测模块的部署：动态链接库形式，部署在主程序所在目录。
XWindow代填主程序包含：读取待代填的账号密码配置（子程序）；启动XWindow程序；调用输入框检测模块的输入框检测接口（外部模块）；判断输入框检测结果；自动代填模块。
输入框检测模块包含：InitFindRect:初始化输入框检测模块；FinallFindRect:释放输入框检测模块；LoadImageFromFile:从文件获取待检测图像；LoadImageFromScreen:从屏幕获取待检测图像；SetSizeFilter:设置输入框尺寸筛选过滤器；FindRectPos:获取输入框位置；GetRectInfo：获取输入框信息。
模块之间的关系：XWindow代填主程序：调用输入框检测模块的接口；输入框检测模块：被XWindows代填主程序调用。
本实施例的基于数字图像识别算法的XWindow代填方法，流程如图2所示，按以下步骤进行：
⑴代填第一阶段，通过WindowAPI进行屏幕截图，获取图像；截取的屏幕图像为32位位图格式，为了提高效率，图像不以磁盘文件保存，直接存储在计算机内存中；
⑵通过图像识别算法，在图像中寻找XWindows的登录用户名输入框；图像识别算法是通过扫描图像，将符合编辑框的矩形寻找出来，并根据宽度和高度范围，进行筛选，最后获得最可能的结果，结果以数组的形式返回，同时返回数组元素的个数；所述矩形的定义为Rect（Left，Top，Right，Bottom）；
⑶如果寻找不成功，则重复步骤⑴；
⑷根据寻找到的输入框的坐标计算输入框中心，同时将鼠标移动到输入框坐标，模拟用户点击，激活输入框；输入框中心点坐标Point（X，Y）的计算方法为：
X =（Left+Right）/2
Y =（Top+Bottom）/2；
⑸可再次检测屏幕图像，确认寻找到的输入框正确有效；再次检测屏幕图像，是因为部分输入框内部含有文字提示信息，激活该输入框后，内部文字信息将会清空，所以为了提高准确率，可以再次检测，如果坐标吻合，则认为成功。如果不吻合，则可能是不支持的特例，需要修改完善算法；
⑹模拟键盘输入帐户，并回车；几乎所有的XWindows系统登录界面输入用户名后，按回车，紧接着都是密码输入界面，因此本发明利用这个规律，降低了复杂性，提高了方法的通用性；
⑺代填第二阶段，通过WindowsAPI进行屏幕截图，获取图像；
⑻过图像识别算法，在图像中寻找XWindows的登录密码输入框；
⑼如果寻找不成功，则重复步骤（7）；
⑽根据寻找到的输入框的坐标计算输入框中心，同时将鼠标移动到输入框坐标，模拟用户点击，激活输入框；
⑾可再次检测屏幕图像，确认寻找到的输入框正确有效。（此步骤可省略）；
⑿模拟键盘输入密码，并回车；
⒀代填完成。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。
Claims (4)
1.一种基于数字图像识别算法的XWindow代填方法，其特征在于：按以下步骤进行：
⑴代填第一阶段，通过WindowsAPI进行屏幕截图，获取图像；
⑵通过图像识别算法，在图像中寻找XWindows的登录用户名输入框；
⑶如果寻找不成功，则重复步骤⑴；
⑷根据寻找到的输入框的坐标计算输入框中心，同时将鼠标移动到输入框坐标，模拟用户点击，激活输入框；
⑸可再次检测屏幕图像，确认寻找到的输入框正确有效；
⑹模拟键盘输入帐户，并回车；
⑺代填第二阶段，通过WindowsAPI进行屏幕截图，获取图像；
⑻过图像识别算法，在图像中寻找XWindows的登录密码输入框；
⑼如果寻找不成功，则重复步骤（7）；
⑽根据寻找到的输入框的坐标计算输入框中心，同时将鼠标移动到输入框坐标，模拟用户点击，激活输入框；
⑾可再次检测屏幕图像，确认寻找到的输入框正确有效；
（此步骤可省略）；
⑿模拟键盘输入密码，并回车；
⒀代填完成。
2.如权利要求1所述的基于数字图像识别算法的XWindow代填方法，其特征在于：所述步骤⑴中，截取的屏幕图像为32位位图格式，为了提高效率，图像不以磁盘文件保存，直接存储在计算机内存中。
3.如权利要求1所述的基于数字图像识别算法的XWindow代填方法，其特征在于：所述步骤⑵中，图像识别算法是通过扫描图像，将符合编辑框的矩形寻找出来，并根据宽度和高度范围，进行筛选，最后获得最可能的结果，结果以数组的形式返回，同时返回数组元素的个数；所述矩形的定义为Rect（Left，Top，Right，Bottom）。
4.如权利要求1所述的基于数字图像识别算法的XWindow代填方法，其特征在于：所述步骤⑷中的输入框中心点坐标Point（X，Y）的计算方法为：
X =（Left+Right）/2
Y =（Top+Bottom）/2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310292252.1A CN103366109B (zh) | 2013-08-14 | 2013-08-14 | 一种基于数字图像识别算法的XWindow代填方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310292252.1A CN103366109B (zh) | 2013-08-14 | 2013-08-14 | 一种基于数字图像识别算法的XWindow代填方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103366109A true CN103366109A (zh) | 2013-10-23 |
| CN103366109B CN103366109B (zh) | 2015-12-23 |
Family
ID=49367434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310292252.1A Active CN103366109B (zh) | 2013-08-14 | 2013-08-14 | 一种基于数字图像识别算法的XWindow代填方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103366109B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104267804A (zh) * | 2014-09-15 | 2015-01-07 | 联想(北京)有限公司 | 一种信息输入方法及电子设备 |
| CN104267804B (zh) * | 2014-09-15 | 2018-06-01 | 联想(北京)有限公司 | 一种信息输入方法及电子设备 |
| CN109542440A (zh) * | 2018-11-29 | 2019-03-29 | 金蝶软件（中国）有限公司 | 对窗口的操作方法和装置、计算机装置及可读存储介质 |
| CN109614169A (zh) * | 2018-12-29 | 2019-04-12 | 上海上讯信息技术股份有限公司 | 基于像素坐标方式的Windows客户端应用程序自动运行方法 |
| CN110035088A (zh) * | 2019-04-26 | 2019-07-19 | 厦门商集网络科技有限责任公司 | 基于rpa远程控制操作系统自动登录的方法及设备 |
| CN110837336A (zh) * | 2018-08-17 | 2020-02-25 | 珠海金山办公软件有限公司 | 一种信息插入方法及装置 |
| CN113093965A (zh) * | 2021-05-07 | 2021-07-09 | 中国工商银行股份有限公司 | 账户注册方法、装置、计算机系统及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1087236A2 (en) * | 1999-09-22 | 2001-03-28 | Fuji Jukogyo Kabushiki Kaisha | Method and system for inspecting a vehicle-mounted camera |
| CN101877637A (zh) * | 2009-04-30 | 2010-11-03 | 中国移动通信集团江西有限公司 | 单点登录方法及单点登录系统 |
| CN203057192U (zh) * | 2012-12-10 | 2013-07-10 | 浙江省电力公司 | 一种跨平台安全审计装置 |
-
2013
- 2013-08-14 CN CN201310292252.1A patent/CN103366109B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1087236A2 (en) * | 1999-09-22 | 2001-03-28 | Fuji Jukogyo Kabushiki Kaisha | Method and system for inspecting a vehicle-mounted camera |
| CN101877637A (zh) * | 2009-04-30 | 2010-11-03 | 中国移动通信集团江西有限公司 | 单点登录方法及单点登录系统 |
| CN203057192U (zh) * | 2012-12-10 | 2013-07-10 | 浙江省电力公司 | 一种跨平台安全审计装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104267804A (zh) * | 2014-09-15 | 2015-01-07 | 联想(北京)有限公司 | 一种信息输入方法及电子设备 |
| CN104267804B (zh) * | 2014-09-15 | 2018-06-01 | 联想(北京)有限公司 | 一种信息输入方法及电子设备 |
| CN110837336A (zh) * | 2018-08-17 | 2020-02-25 | 珠海金山办公软件有限公司 | 一种信息插入方法及装置 |
| CN110837336B (zh) * | 2018-08-17 | 2021-08-20 | 珠海金山办公软件有限公司 | 一种信息插入方法及装置 |
| CN109542440A (zh) * | 2018-11-29 | 2019-03-29 | 金蝶软件（中国）有限公司 | 对窗口的操作方法和装置、计算机装置及可读存储介质 |
| CN109614169A (zh) * | 2018-12-29 | 2019-04-12 | 上海上讯信息技术股份有限公司 | 基于像素坐标方式的Windows客户端应用程序自动运行方法 |
| CN109614169B (zh) * | 2018-12-29 | 2022-03-15 | 上海上讯信息技术股份有限公司 | 基于像素坐标方式的Windows客户端应用程序自动运行方法 |
| CN110035088A (zh) * | 2019-04-26 | 2019-07-19 | 厦门商集网络科技有限责任公司 | 基于rpa远程控制操作系统自动登录的方法及设备 |
| CN110035088B (zh) * | 2019-04-26 | 2021-08-24 | 厦门商集网络科技有限责任公司 | 基于rpa远程控制操作系统自动登录的方法及设备 |
| CN113093965A (zh) * | 2021-05-07 | 2021-07-09 | 中国工商银行股份有限公司 | 账户注册方法、装置、计算机系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103366109B (zh) | 2015-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106886418B (zh) | Html界面控件贴 | |
| CN103366109B (zh) | 一种基于数字图像识别算法的XWindow代填方法 | |
| US9060018B1 (en) | Finding command and control center computers by communication link tracking | |
| CN102523129B (zh) | 一种通用的航空总线测试分析方法及其装置 | |
| CN103605570A (zh) | 一种基于虚拟机模板自动部署应用的方法及系统 | |
| CN102891765A (zh) | 一种基于SNMP和HTML5实现web网络拓扑的方法 | |
| CN106406952B (zh) | 电子终端及应用程序管理装置与方法 | |
| CN103942258B (zh) | 基于道路编码的街景影像存储方法及装置 | |
| CN109753641A (zh) | 一种更改对象位置的方法、装置、电子设备及存储介质 | |
| CN103530379A (zh) | 树形结构数据显示方法与装置 | |
| CN106250571A (zh) | 一种etl数据处理的方法及系统 | |
| CN102375738B (zh) | 一种移动终端数据管理的装置和方法 | |
| CN103561083B (zh) | 一种物联网数据处理方法 | |
| CN108075914A (zh) | 一种动态扩容缩容的方法及网络设备 | |
| CN105975524A (zh) | 一种用于地质监测的数据集成方法和系统 | |
| CN103324749A (zh) | 一种基于标准文本地址的空间化解析及纠偏方法 | |
| CN105933154A (zh) | 一种云计算资源的管理方法 | |
| CN106845766A (zh) | 信息采集方法 | |
| CN103036741B (zh) | 流量监测基线的确定方法及装置 | |
| CN103812982A (zh) | 一种跨操作系统实现计算机监控测试手机客户端的方法和系统 | |
| CN102968805A (zh) | 一种图片叠加的方法和系统 | |
| CN101510172B (zh) | 测试系统及方法 | |
| CN109241510A (zh) | 一种基于微信小程序的自动图表生成系统及其实现方法 | |
| US10678936B2 (en) | Digital data processing system for efficiently storing, moving, and/or processing data across a plurality of computing clusters | |
| CN106682228B (zh) | 一种可视化动态绘制机柜排列的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200831 Address after: Room 1525, 15 / F, building 10, 6, 8, 10, 12, 16, 18 xuanwumenwai street, Xicheng District, Beijing 100052 Patentee after: Dexun innovation (Beijing) Technology Co., Ltd Address before: No. 21 Huashen road Nanjing Yuhua District 210010 in Jiangsu Province Patentee before: DATCENT TECHNOLOGY Co.,Ltd. |