CN115114551A - 一种针对ie浏览器的自动化流程操作系统以及方法 - Google Patents
一种针对ie浏览器的自动化流程操作系统以及方法 Download PDFInfo
- Publication number
- CN115114551A CN115114551A CN202210715933.3A CN202210715933A CN115114551A CN 115114551 A CN115114551 A CN 115114551A CN 202210715933 A CN202210715933 A CN 202210715933A CN 115114551 A CN115114551 A CN 115114551A
- Authority
- CN
- China
- Prior art keywords
- browser
- layer module
- configurable
- user
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000008569 process Effects 0.000 title claims description 38
- 238000004806 packaging method and process Methods 0.000 claims description 5
- 235000014510 cooky Nutrition 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 15
- 238000004088 simulation Methods 0.000 abstract description 6
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005538 encapsulation Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011112 process operation Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 229910052711 selenium Inorganic materials 0.000 description 2
- 239000011669 selenium Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种针对IE浏览器的自动化流程操作系统以及方法，本系统的中间层模块基于MSHTML组件将模拟用户对IE浏览器的对象的操作或属性访问封装成可便利调用API方法；用户层模块将API方法封装成具有单一功能的可配置可执行的步骤，根据业务需求完成配置，最后通过配置信息执行对应的操作。本系统能够解决传统RPA技术利用webDriver技术操作IE浏览器时面临的四大实质问题，而且通过中间层模块一方面能够基于底层模块的MSHTML组件提供的基础功能，对各类对象进行高度封装，实现各类对象的所有操作及属性访问功能，并提供便利的API调用方式；另一方面为用户层模块简化各类对象操作配置选项。
Description
技术领域
本发明涉及RPA控制技术领域，特别涉及一种针对IE浏览器的自动化流程操作系统以及方法。
背景技术
RPA(Robotic Process Automation机器人流程自动化):是一种新型的人工智能的虚拟流程自动化机器人，能够代替或者协助人类在计算机、手机等数字设备中完成重复性工作任务。
目前RPA软件系统主要针对window桌面客户端程序以及主流浏览器进行自动化操作，其中主流浏览器包括谷歌浏览器、火狐浏览器、Edge及IE浏览器。IE浏览器目前微软已放弃该浏览器的更新，大部分用户已不在使用IE浏览器，但政府机构医疗行业等部门以前多数使用IE浏览器作为首选开发目标，通常此类政府医疗软件旧系统升级时会面临无法对接接口、新旧系统互不连通、数据迁移难等问题，而RPA技术应用场景之一便是无缝对接目标软件系统，通过配置业务流程自动获取旧系统业务数据写入新系统中，从而解决政务部、医务部等旧系统升级数据迁移难的问题，而现有RPA通常使用基于selenium webDriver自动化测试技术操作IE浏览器,从而完成RPA系统对目标IE浏览器的自动化操作。
现阶段的RPA系统通过webDriver技术操作IE浏览器存在较大的局限性：
1)要针对不同IE版本安装对应的webDriver驱动程序，无法统一处理；
2)在自动化操作过程中，IE浏览器页面不能进行任何缩放；
3)操作前需要手动设置IE安全模式，否则无法使用；
4)操作32位IE浏览器进行文本输入时，效率非常低。
发明内容
本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种针对IE浏览器的自动化流程操作系统以及方法，既能使模型的预测性能提高，也能提高模型的鲁棒性和泛化性。
第一方面，本发明的实施例提供了一种针对IE浏览器的自动化流程操作系统，包括：
底层模块，包括MSHTML组件；
中间层模块，用于根据所述MSHTML组件，将对IE浏览器的对象的操作或属性访问封装成API方法；
用户层模块，用于根据用户业务需求的步骤流程，调用相应的所述API方法封装成可配置执行的步骤，并且根据所述可配置执行的步骤对所述IE浏览器进行操作。
根据本发明的实施例，至少具有如下技术效果：
本系统的中间层模块基于MSHTML组件将模拟用户对IE浏览器的对象的操作或属性访问封装成可便利调用API方法，给用户层模块提供各类用户可操作的API方法；用户层模块将该类API方法封装成具有单一功能的可配置可执行的步骤，根据业务需求分解成的一个个步骤依次完成配置，最后通过完成的配置执行对应的操作。本系统能够解决传统RPA技术利用webDriver技术操作IE浏览器时面临的四大实质问题。而且本系统通过中间层模块一方面能够基于底层模块的MSHTML组件提供的基础功能，对各类对象进行高度封装，实现各类对象的所有操作及属性访问功能，并提供用户层模块可用的便利的API调用方式；另外一方面向用户层模块屏蔽MSHTML组件底层接口对象获取逻辑、元素类型转换、元素属性获取设置、事件监听触发接口调用等操作，简化各类对象操作配置选项。
根据本发明的一些实施例，当所述可配置执行的步骤的数量大于一个时，所述用户层模块按照所述步骤流程，将所述可配置执行的步骤按序组合于流程容器中，根据所述流程容器对所述IE浏览器进行操作。
根据本发明的一些实施例，所述IE浏览器的对象包括浏览器对象、网页页签对象、元素控件对象以及元素查找器对象中的一种或多种。
根据本发明的一些实施例，所述浏览器对象的操作或属性访问包括：启动浏览器、关闭浏览器、打开网页、关闭网页、切换页签、获取激活页签、最大化、最小化以及cookies设置获取。
根据本发明的一些实施例，所述网页页签对象的操作或属性访问包括：URL获取、URL设置、网页标题获取、设置功能、元素访问、页签关闭功能以及JS脚本执行命令。
根据本发明的一些实施例，所述元素控件对象包括按钮控件、文本框控件、下拉框控件、日期输入框控件、列表控件以及表格控件。
根据本发明的一些实施例，所述元素控件对象的操作或属性访问包括：
点击、双击、右键点击；
文本获取、文本输入、文本清除；
当前选项值获取，选取与输入文字匹配的目标选项；
日期获取、日期设置；
列表所有文本获取；
表格控件所有项及表格行遍历。
根据本发明的一些实施例，所述元素查找器对象的操作或属性访问包括：通过坐标位置查找网页元素、通过xpath查找网页元素、通过id查找网页元素、通过css或元素属性查找网页元素、网页元素查找定位信息。
第二方面，本发明的实施例提供了一种针对IE浏览器的自动化流程操作方法，包括如下步骤：
获取用户业务需求；
根据所述用户业务需求分解出步骤流程，根据所述步骤流程获取模拟对IE浏览器的对象的操作或属性访问；
根据MSHTML组件，将所述对IE浏览器的对象的操作或属性访问封装成API方法；
将所述API方法封装成可配置执行的步骤；
根据所述可配置执行的步骤对所述IE浏览器进行操作。
根据本发明的实施例，至少具有如下技术效果：
本方法的中间层模块基于MSHTML组件将模拟用户对IE浏览器的对象的操作或属性访问封装成可便利调用API方法，给用户层模块提供各类用户可操作的API方法；用户层模块将该类API方法封装成具有单一功能的可配置可执行的步骤，根据业务需求分解成的一个个步骤依次完成配置，最后通过完成的配置执行对应的操作。本方法能够解决传统RPA技术利用webDriver技术操作IE浏览器时面临的四大实质问题。而且本方法通过中间层模块一方面能够基于底层模块的MSHTML组件提供的基础功能，对各类对象进行高度封装，实现各类对象的所有操作及属性访问功能，并提供用户层模块可用的便利的API调用方式；另外一方面向用户层模块屏蔽MSHTML组件底层接口对象获取逻辑、元素类型转换、元素属性获取设置、事件监听触发接口调用等操作，简化各类对象操作配置选项。
根据本发明的一些实施例，所述根据所述可配置执行的步骤对所述IE浏览器进行操作，包括步骤：
当所述可配置执行的步骤大于一个时，根据所述步骤流程，将可配置执行的步骤按序组合于流程容器中；
根据所述流程容器对所述IE浏览器进行操作。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明第一实施例提供的针对IE浏览器的自动化流程操作系统的结构示意图；
图2为本发明第二实施例提供的针对IE浏览器的自动化流程操作方法的流程示意图；
图3为本发明第三实施例提供的针对IE浏览器的自动化流程操作系统的结构示意图；
图4为本发明第三实施例提供的中间层模块调用底层模块的示意图；
图5为本发明第三实施例提供的将步骤组合至流程容器的示意图；
图6为本发明第四实施例提供的针对IE浏览器的自动化流程操作系统的流程配置和流程运行的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
RPA是一种新型的人工智能的虚拟流程自动化机器人，能够代替或者协助人类在计算机、手机等数字设备中完成重复性工作任务。RPA除任务分配和管理的调度系统外主要包含流程设计器和流程运行器，流程设计器主要功能是根据目标软件业务逻辑处理流程涉及到每一个控件操作按序进行步骤配置，形成多个步骤组合嵌套的配置信息。流程运行器阶段通过加载对应的流程配置信息形成由步骤组合的流程对象从上往下开始执行步骤，对于需要操作目标软件界面元素(控件)步骤通常需要定位到该控件再进行相应控件操作(点击、输入、采集等)。
现有RPA通常使用基于selenium webDriver自动化测试技术操作IE浏览器,从而完成RPA系统对目标IE浏览器的自动化操作。但现阶段的RPA系统通过webDriver技术操作IE浏览器存在较大的局限性，例如：
1)要针对不同IE版本安装对应的webDriver驱动程序，无法统一处理；
2)在自动化操作过程中，IE浏览器页面不能进行任何缩放；
3)操作前需要手动设置IE安全模式，否则无法使用；
4)操作32位IE浏览器进行文本输入时，效率非常低。
第一实施例；
参照图1，本发明的一个实施例，提供了一种针对IE浏览器的自动化流程操作系统，包括底层模块、中间层模块以及用户层模块，其中：
底层模块包括MSHTML组件。MSHTML组件是微软发布的一个COM组件，该组件提供了IE浏览器以及其网页元素的基本操作，自动化系统通过该组件的使用可实现在不侵入IE浏览器的情况下对其进行跨进程访问及操作，极大减少了IE浏览器运行环境的破坏。区别于webDriver无需安装对应浏览器版本的驱动以及安全模式设置，通过MSTHML实现对IE浏览器的自动化将非常适应，且无需设置安全模式，也不会受浏览器页面缩放比例影响而无法自动化操作。若合理使用，则能够解决webDriver技术操作IE浏览器时面临的四大实质问题。
中间层模块用于根据MSHTML组件，将对IE浏览器的对象的操作或属性访问封装成API(Application Programming Interface,应用程序接口)方法。这里的IE浏览器的对象包括但不仅限于浏览器对象、网页页签对象、元素控件对象以及元素查找器对象。
中间层模块视为上层用户层模块与IE浏览器之间访问通信的桥梁，中间层模块为上层的用户层模块提供所有模拟用户对IE浏览器的可操作的API方法。由于MSHTML组件中提供的众多操作接口中具有较为复杂参数，不同的元素类型需要强制转换后才能进行对应类型的操作，若直接提供给用户层模块进行配置，用户层模块将面临较为复杂的配置选项以及不明朗的类型转换难题。因此中间层模块主要基于MSHTML组件提供的基础功能，对各类IE浏览器的对象进行高度封装，实现各类对象的所有操作及属性访问功能，并提供给用户层模块可用的便利的API调用方式，向用户层模块屏蔽MSHTML组件底层接口对象获取逻辑、元素类型转换、元素属性获取设置、事件监听触发接口调用等操作，简化各类对象操作配置选项。
用户层模块用于根据用户业务需求的步骤流程，调用相应的API方法封装成可配置执行的步骤，并且根据可配置执行的步骤对IE浏览器进行操作。
用户层模块通过中间层模块提供的API调用方式，将该类API方法封装成具有单一功能的可配置可执行的步骤，组合步骤完成配置，最后通过完成的配置执行对应的操作。
因MSHTML组件特性，通过MSHTML组件能够对IE浏览器进行流程操作。但由于MSHTML组件中提供的众多操作接口中具有较为复杂参数，不同的元素类型需要强制转换后才能进行对应类型的操作，若直接提供给用户进行配置，这将面临较为复杂的配置选项以及不明朗的类型转换难题。
因此，为了解决这一缺陷，本系统包括底层模块、中间层模块以及用户层模块，中间层模块视为用户层模块与IE浏览器之间访问通信的桥梁，中间层模块一方面能够基于底层模块的MSHTML组件提供的基础功能，对各类对象进行高度封装，实现各类对象的所有操作及属性访问功能，并提供用户层模块可用的便利的API调用方式；另外一方面向用户层模块屏蔽MSHTML组件底层接口对象获取逻辑、元素类型转换、元素属性获取设置、事件监听触发接口调用等操作，简化各类对象操作配置选项。最后，用户层模块通过中间层模块提供的便利的API调用方式，将该类API方法封装成具有单一功能的可配置可执行的步骤，组合步骤完成配置，最后通过完成的配置执行对应的操作。
本系统实施例具备如下有益效果：
本系统的中间层模块基于MSHTML组件将模拟用户对IE浏览器的对象的操作或属性访问封装成可便利调用API方法，给用户层模块提供各类用户可操作的API方法；用户层模块将该类API方法封装成具有单一功能的可配置可执行的步骤，根据业务需求分解成的一个个步骤依次完成配置，最后通过完成的配置执行对应的操作。本系统能够解决传统RPA技术利用webDriver技术操作IE浏览器时面临的四大实质问题。而且本系统通过中间层模块一方面能够基于底层模块的MSHTML组件提供的基础功能，对各类对象进行高度封装，实现各类对象的所有操作及属性访问功能，并提供用户层模块可用的便利的API调用方式；另外一方面向用户层模块屏蔽MSHTML组件底层接口对象获取逻辑、元素类型转换、元素属性获取设置、事件监听触发接口调用等操作，简化各类对象操作配置选项。
第二实施例；
参照图1，本发明的一个实施例，提供一种针对IE浏览器的自动化流程操作方法，包括如下步骤：
步骤S101、获取用户业务需求。
步骤S102、根据用户业务需求分解出步骤流程，根据步骤流程获取模拟对IE浏览器的对象的操作或属性访问。
步骤S103、根据MSHTML组件，将对IE浏览器的对象的操作或属性访问封装成API方法。
步骤S104、将API方法封装成可配置执行的步骤。
步骤S105、根据可配置执行的步骤对IE浏览器进行操作。
与第一实施例提供的系统基于相同的发明构思，此处的相关概念不再重复说明。
根据本发明的实施例，至少具有如下技术效果：
本方法基于MSHTML组件将模拟用户对IE浏览器的对象的操作或属性访问封装成可便利调用API方法，这样能够提供各类用户可操作的API方法；然后用户可将该类API方法封装成具有单一功能的可配置可执行的步骤，用户可根据业务需求分解成的一个个步骤依次完成配置，最后通过完成的配置执行对应的操作。本方法能够解决传统RPA技术利用webDriver技术操作IE浏览器时面临的四大实质问题。而且本方法跳过直接利用MSHTML组件操作IE浏览器，而是先基于MSHTML组件将模拟用户对IE浏览器的对象的操作或属性访问封装成可便利调用API方法，这样的好处在于一方面能够通过MSHTML组件提供的基础功能，对各类对象进行高度封装，实现各类对象的所有操作及属性访问功能，并提供用户可用的便利的API调用方式；另外一方面向用户屏蔽MSHTML组件底层接口对象获取逻辑、元素类型转换、元素属性获取设置、事件监听触发接口调用等操作，简化各类对象操作配置选项。
第三实施例；
为了便于理解，参照图3至图5，本发明的一个实施例，提供了一种针对IE浏览器的自动化流程操作系统。本系统包括：底层模块、中间层模块以及用户层模块。本系统的实现逻辑如下所示：
1、底层模块；
底层模块包括MSHTML组件。以下为MSHTML基本功能介绍：1)打开、关闭IE浏览器网页；
2)访问网页内部元素对；
3)获取、设置网页元素属性；
4)触发网页不同网页元素的特定事件。
2、中间层模块；
中间层模块视为上层用户层模块与IE浏览器之间访问通信的桥梁，为用户层模块提供所有模拟用户对IE浏览器的可操作的API方法。由于MSHTML组件中提供的众多操作接口中具有较为复杂参数，不同的元素类型需要强制转换后才能进行对应类型的操作，若直接提供给上层用户模块进行配置，用户层模块将面临较为复杂的配置选项以及平凡的不明朗的类型转换难题，因此中间层模块主要基于MSHTML组件提供的基础功能，对各类对象(如浏览器对象操作、网页对象操作、元素控件对象、元素查找器对象)进行高度封装，实现各类对象的所有操作及属性访问功能，并提供用户层模块可用的便利的API调用方式，向用户层模块屏蔽MSHTML组件底层接口对象获取逻辑、元素类型转换、元素属性获取设置、事件监听触发接口调用等操作，简化各类对象操作配置选项。
使用MSHTML COM接口实现RPA对IE浏览器自动化操作功能，需要对底层接口进行封装成RPA需求的中间层模块，中间层模块与用户层模块进行对接，从而实现系统通过中间层模块完成业务配置功能以及流程执行功能，调用流程如图4所示。
中间层模块封装示例如下：
1)浏览器对象：用于实现IE浏览器操作功能封装，例如：启动浏览器、关闭浏览器，打开网页、关闭网页、切换页签，获取激活页签、所有页签、最大化、最小化、cookies设置获取等功能，满足系统对IE浏览器自动化操作。
2)网页页签对象：主要通过MSHTML提供的API以及WINDOWS系统提供的操作进程启动结束的API联合调用实现网页基本操作，例如：URL获取、URL设置，网页标题获取、设置功能、元素访问、页签关闭功能及JS脚本执行命令等功能。
3)控件对象：主要通过MSHTML各类接口API联合调用来实现网页中各类控件功能封装，各类控件封装分别用于实现其对应控件的常用操作，通过对控件的封装来支持系统用户层业务流程操作各类网页元素的功能需求；举例如下：
按钮控件：提供点击、双击、右键点击功能；
文本框控件：提供文本获取、文本输入、文本清除功能；
下拉框控件：提供当前选项值获取，选取与输入文字匹配的目标选项的功能；
日期输入框控件：提供日期获取、日期设置的功能；
列表控件：提供列表所有文本获取的功能；
表格控件：提供表格控件所有项及表格行遍历的功能。
4)元素查找器对象：通过以上举例获取网页元素的方式及JS命令执行脚本的功能实现对目标网页元素定位信息生成及定位的功能，例如：通过坐标位置查找网页元素、通过xpath查找网页元素、通过id查找网页元素、通过css或元素属性查找网页元素的、及生成对应RPA流程运行中可对该网页元素目标查找的定位信息的功能，如保存元素id、元素css、元素tag、元素xpath、元素属性信息等。
3、用户层模块；
用户层模块提供用户操作中单个步骤功能点可配置实现或者组合多个步骤的流程容器配置实现。通过中间层模块调用，系统在配置期可根据业务需求配置出对应的流程信息，并在流程运行阶段通过对应的配置信息对中间层模块调用从而达到业务流程自动化执行的功能。
流程对象使用队列模型实现容器，实行先进先执行则，按序执行加入的容器中的步骤，具有添加步骤、删除步骤、插入步骤、配置保存、配置加载以及整个流程执行的功能。步骤举例如下：
1)浏览器打开步骤：通过中间层模块的浏览器对象打开window系统的IE浏览器。
2)打开网页步骤：通过中间层模块的浏览器对象指定IE浏览器打开指定网页，网页URL为用户所配置；该步骤记录用户配置URL文本信息。
3)文本框编辑步骤：通过中间层模块的元素查找器指定将要进行操作的中间层文本框控件，指定的用户需要输入的文本信息，完成文本框输入步骤；该步骤记录用户操作的文本框控件定位信息及将要输入的文本信息。
4)按钮点击步骤：通过中间层模块的元素查找器指定将要进行操作的按钮控件，实现按钮各类点击操作。该步骤记录用户操作的按钮控件的定位信息。
如图5所示，举例用户实现IE浏览器自动打开百度地图配置过程，当用户根据业务需求将各个步骤配置完成后添加到流程中后，便可执行已配置的流程从上至下依次执行步骤来完成业务自动化处理。
在步骤实现过程中，不仅仅可以实现网页控件操作的步骤，也可以增加流程过程控制的步骤，如添加条件执行步骤(根据判断的结果真、假分别执行不同业务步骤)，也可添加循环执行步骤(可循环固定的次数，或者循环一个网页中的一个表格、列表)。
第四实施例；
参照图6，本发明的一个实施例，提供了一种针对IE浏览器的自动化流程操作系统，系统结构运行说明：
流程配置阶段；
基于MSHTML组件及window系统提供的API，封装浏览器对象、控件对象、页签对象操作的中间层模块，中间层模块给用户层模块提供各类用户可操作的API方法，用户层模块将该类API方法封装成单一功能的可配置可执行的步骤，如图5所示，用户根据业务需求分解成一个个步骤依次完成配置，并将步骤添加到流程容器中进行组合，最终等待符合业务需求的整个流程配置信息。
流程运行阶段；
流程运行过程中加载已配置的信息依次执行所有步骤，从而完成流程自动化操作实现。在系统结构在中间层模块增加控件、用户层模块增加步骤应对业务不兼容性进行扩展，如中间层模块可加入树控件，用户层模块增加树控件操作步骤，从而完善系统对树控件操作的兼容性，中间层模块中加入表格控件在用户层增加表格遍历步骤从而完善表格逐行遍历操作的兼容性。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种针对IE浏览器的自动化流程操作系统，其特征在于，包括：
底层模块，包括MSHTML组件；
中间层模块，用于根据所述MSHTML组件，将对IE浏览器的对象的操作或属性访问封装成API方法；
用户层模块，用于根据用户业务需求的步骤流程，调用相应的所述API方法封装成可配置执行的步骤，并且根据所述可配置执行的步骤对所述IE浏览器进行操作。
2.根据权利要求1所述的针对IE浏览器的自动化流程操作系统，其特征在于，当所述可配置执行的步骤的数量大于一个时，所述用户层模块按照所述步骤流程，将所述可配置执行的步骤按序组合于流程容器中，根据所述流程容器对所述IE浏览器进行操作。
3.根据权利要求2所述的针对IE浏览器的自动化流程操作系统，其特征在于，所述IE浏览器的对象包括浏览器对象、网页页签对象、元素控件对象以及元素查找器对象中的一种或多种。
4.根据权利要求3所述的针对IE浏览器的自动化流程操作系统，其特征在于，所述浏览器对象的操作或属性访问包括：启动浏览器、关闭浏览器、打开网页、关闭网页、切换页签、获取激活页签、最大化、最小化以及cookies设置获取。
5.根据权利要求3所述的针对IE浏览器的自动化流程操作系统，其特征在于，所述网页页签对象的操作或属性访问包括：URL获取、URL设置、网页标题获取、设置功能、元素访问、页签关闭功能以及JS脚本执行命令。
6.根据权利要求3所述的针对IE浏览器的自动化流程操作系统，其特征在于，所述元素控件对象包括按钮控件、文本框控件、下拉框控件、日期输入框控件、列表控件以及表格控件。
7.根据权利要求6所述的针对IE浏览器的自动化流程操作系统，其特征在于，所述元素控件对象的操作或属性访问包括：
点击、双击、右键点击；
文本获取、文本输入、文本清除；
当前选项值获取，选取与输入文字匹配的目标选项；
日期获取、日期设置；
列表所有文本获取；
表格控件所有项及表格行遍历。
8.根据权利要求3所述的针对IE浏览器的自动化流程操作系统，其特征在于，所述元素查找器对象的操作或属性访问包括：通过坐标位置查找网页元素、通过xpath查找网页元素、通过id查找网页元素、通过css或元素属性查找网页元素、网页元素查找定位信息。
9.一种针对IE浏览器的自动化流程操作方法，其特征在于，包括如下步骤：
获取用户业务需求；
根据所述用户业务需求分解出步骤流程，根据所述步骤流程获取模拟对IE浏览器的对象的操作或属性访问；
根据MSHTML组件，将所述对IE浏览器的对象的操作或属性访问封装成API方法；
将所述API方法封装成可配置执行的步骤；
根据所述可配置执行的步骤对所述IE浏览器进行操作。
10.根据权利要求9所述的针对IE浏览器的自动化流程操作方法，其特征在于，所述根据所述可配置执行的步骤对所述IE浏览器进行操作，包括步骤：
当所述可配置执行的步骤大于一个时，根据所述步骤流程，将可配置执行的步骤按序组合于流程容器中；
根据所述流程容器对所述IE浏览器进行操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715933.3A CN115114551A (zh) | 2022-06-23 | 2022-06-23 | 一种针对ie浏览器的自动化流程操作系统以及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715933.3A CN115114551A (zh) | 2022-06-23 | 2022-06-23 | 一种针对ie浏览器的自动化流程操作系统以及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115114551A true CN115114551A (zh) | 2022-09-27 |
Family
ID=83328158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210715933.3A Pending CN115114551A (zh) | 2022-06-23 | 2022-06-23 | 一种针对ie浏览器的自动化流程操作系统以及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115114551A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116070053A (zh) * | 2023-03-29 | 2023-05-05 | 杭州实在智能科技有限公司 | 用于信创体系的跨平台rpa浏览器数据采集方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040021679A1 (en) * | 2000-06-09 | 2004-02-05 | Chapman David John | Human machine interface |
| CN111722770A (zh) * | 2020-07-20 | 2020-09-29 | 中国人民武装警察部队工程大学 | 一种智能人机交互无量网控制模块 |
| CN113254174A (zh) * | 2021-05-26 | 2021-08-13 | 广州衡昊数据科技有限公司 | 一种rpa机器人流程自动化实现系统和方法 |
| CN113342320A (zh) * | 2021-05-28 | 2021-09-03 | 广州省事熊智能科技有限公司 | 一种针对ie浏览器操作的rpa流程自动化方法及系统 |
| CN114428575A (zh) * | 2022-01-24 | 2022-05-03 | 京北方信息技术股份有限公司 | 一种界面元素探测识别方法、装置、存储介质及电子设备 |
-
2022
- 2022-06-23 CN CN202210715933.3A patent/CN115114551A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040021679A1 (en) * | 2000-06-09 | 2004-02-05 | Chapman David John | Human machine interface |
| CN111722770A (zh) * | 2020-07-20 | 2020-09-29 | 中国人民武装警察部队工程大学 | 一种智能人机交互无量网控制模块 |
| CN113254174A (zh) * | 2021-05-26 | 2021-08-13 | 广州衡昊数据科技有限公司 | 一种rpa机器人流程自动化实现系统和方法 |
| CN113342320A (zh) * | 2021-05-28 | 2021-09-03 | 广州省事熊智能科技有限公司 | 一种针对ie浏览器操作的rpa流程自动化方法及系统 |
| CN114428575A (zh) * | 2022-01-24 | 2022-05-03 | 京北方信息技术股份有限公司 | 一种界面元素探测识别方法、装置、存储介质及电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116070053A (zh) * | 2023-03-29 | 2023-05-05 | 杭州实在智能科技有限公司 | 用于信创体系的跨平台rpa浏览器数据采集方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210034336A1 (en) | Executing a process-based software application in a first computing environment and a second computing environment | |
| US9696972B2 (en) | Method and apparatus for updating a web-based user interface | |
| US6836842B1 (en) | Method of partial reconfiguration of a PLD in which only updated portions of configuration data are selected for reconfiguring the PLD | |
| CN109324791A (zh) | 金融自助终端业务流程开发方法、装置及终端设备 | |
| CN109324787A (zh) | 一种业务软件开发方法、装置及终端设备 | |
| CN105700888A (zh) | 一种基于jbpm工作流引擎的可视化快速开发平台 | |
| JPH07109585B2 (ja) | スコープ指令変更処理方法及び装置 | |
| CN104679488A (zh) | 一种流程定制开发平台及流程定制开发方法 | |
| CN112464623A (zh) | Rpa流程文件生成方法、装置、计算机设备和存储介质 | |
| CN106569783A (zh) | 一种执行任务脚本的方法和装置 | |
| CN111124391A (zh) | 一种桌面端软件挂件视窗管理方法和系统 | |
| CN103605527A (zh) | 实现云计算应用间界面集成和统一样式展现的系统及方法 | |
| CN110096278A (zh) | 一种可扩展的嵌入式人机接口工具实现方法 | |
| CN104484163A (zh) | 一种基于统一建模环境的异构模型转换方法 | |
| CN115114551A (zh) | 一种针对ie浏览器的自动化流程操作系统以及方法 | |
| JP2023107749A (ja) | ブラウザベースのロボティックプロセスオートメーション（ｒｐａ）ロボット設計インターフェース | |
| KR20180066356A (ko) | BPM 기반의 IoT DIY 시스템 및 이의 구현방법 | |
| CN109558187A (zh) | 一种用户界面渲染方法及装置 | |
| CN114428575A (zh) | 一种界面元素探测识别方法、装置、存储介质及电子设备 | |
| CN109634758A (zh) | 基于json文件控制事件和行为的方法及中间件平台 | |
| KR102293274B1 (ko) | 테스트 환경 구축 방법 및 장치 | |
| CN113168355A (zh) | 经由在第二会话中运行的机器人流程自动化机器人使在第一会话中运行的过程自动化 | |
| CN100472472C (zh) | Windows平台下基于MSAA的GUI测试驱动方法 | |
| CN116893807A (zh) | 使用浏览器设计机器人流程自动化机器人的系统和方法 | |
| CN109933308A (zh) | 基于mpi+cuda的遥感卫星数据预处理流程可视化自定制通用系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |