CN111047147A - 一种业务流程自动采集方法及智能终端 - Google Patents
一种业务流程自动采集方法及智能终端 Download PDFInfo
- Publication number
- CN111047147A CN111047147A CN201911139440.4A CN201911139440A CN111047147A CN 111047147 A CN111047147 A CN 111047147A CN 201911139440 A CN201911139440 A CN 201911139440A CN 111047147 A CN111047147 A CN 111047147A
- Authority
- CN
- China
- Prior art keywords
- intelligent terminal
- service
- information
- business process
- service flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种业务流程自动采集方法及智能终端。该方法包括：S1、接收开始采集指令，获取智能终端的操作信息，操作信息包括用户操作智能终端实现某一业务的整个过程；S2、接收结束采集指令，识别出操作信息对应的操作对象和操作内容，根据操作对象和操作内容生成业务流程描述信息，其中业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。本发明可自动获取用户实际操作终端完成流程的过程，并转化为适合业务分析师使用的业务流程描述信息，节省大量人力物力，效率高成本低。
Description
技术领域
本发明涉及业务流程分析领域，更具体地说，涉及一种业务流程自动采集方法及智能终端。
背景技术
办公流程电子化已广泛应用于公司、企业、政府、学校等，实现绿色办公同时也提高办公效率。随着管理制度或实际业务的改变，或者用户操作习惯问题，需要业务分析师对流程进行不断优化，以使流程设置尽量合理。但分析流程需要首先获取大量使用数据，现有技术中主要依靠业务分析师手动跟踪用户，耗费大量人力物力进行数据采集，效率低成本高。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种业务流程自动采集方法及智能终端。
本发明解决其技术问题所采用的技术方案是：构造一种业务流程自动采集方法，包括：
S1、接收开始采集指令，获取智能终端的操作信息，所述操作信息包括用户操作智能终端实现某一业务的整个过程；
S2、接收结束采集指令，识别出所述操作信息对应的操作对象和操作内容，根据所述操作对象和所述操作内容生成业务流程描述信息，其中所述业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。
进一步，在本发明所述的业务流程自动采集方法中，所述步骤S1中获取智能终端的操作信息包括：录制智能终端的显示屏显示的操作视频，所述操作视频包括用户操作智能终端实现某一业务的整个过程；
所述步骤S2中识别出所述操作信息对应的操作对象和操作内容包括：识别出所述操作视频对应的操作对象和操作内容。
进一步，在本发明所述的业务流程自动采集方法中，所述识别出所述操作视频对应的操作对象和操作内容包括：使用OCR识别技术并结合NLP技术识别出所述操作视频对应的操作对象和操作内容；
所述步骤S2中根据所述操作对象和所述操作内容生成业务流程描述信息包括：按照时间顺序根据所述操作对象和所述操作内容生成业务流程描述信息。
进一步，在本发明所述的业务流程自动采集方法中，所述使用OCR识别技术并结合NLP技术识别出所述操作视频对应的操作对象和操作内容包括：
S211、分离所述操作视频中图像的前景和背景；
S212、获取光标的位置信息；
S213、使用OCR识别技术并结合NLP技术，同时结合所述位置信息识别出操作对象，所述操作对象包括标题栏、工具栏、菜单栏、按钮、业务操作区中一种或多种；
S214、记录所述操作对象上施加的操作内容。
进一步，在本发明所述的业务流程自动采集方法中，所述步骤S1中获取智能终端的操作信息包括：自动捕捉智能终端接收的操作指令，所述操作指令包括用户操作智能终端实现某一业务的整个过程；
所述步骤S2中识别出所述操作信息对应的操作对象和操作内容包括：识别出所述操作指令对应的操作对象和操作内容。
进一步，在本发明所述的业务流程自动采集方法中，所述步骤S1包括：S11、接收开始采集指令，录制智能终端的显示屏显示的操作视频，同时自动捕捉智能终端接收的操作指令，所述操作视频为用户操作智能终端实现某一业务的整个过程；
所述步骤S2包括：S21、接收结束采集指令，识别出所述操作视频对应的操作对象和操作内容，并通过所述操作指令进行确认和矫正，根据所述操作对象和所述操作内容生成业务流程描述信息，其中所述业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。
进一步，在本发明所述的业务流程自动采集方法中，所述步骤S21中通过所述操作指令进行确认和矫正包括：
获取所述操作指令对应的智能终端操作系统的时间和事件序列对；
由所述时间和事件序列对确认和矫正所述操作对象和操作内容。
进一步，在本发明所述的业务流程自动采集方法中，所述由所述时间和事件序列对确认和矫正所述操作对象和操作内容包括：
判断所述时间和事件序列对对应的操作对象和操作内容是否与所述操作视频对应的操作对象和操作内容一致；
若是，则根据所述操作对象和所述操作内容生成业务流程描述信息；
若否，则发出提示信息。
进一步，在本发明所述的业务流程自动采集方法中，在所述步骤S2之后还包括：
S3、将所述业务流程描述信息转换为自动业务流程文件，其中所述自动业务流程文件用于RPA机器人自动执行业务使用；
S4、将所述业务流程描述信息和所述自动业务流程文件发送至预设终端或服务器。
另，本发明还提供一种智能终端，包括存储器和处理器，所述处理器连接所述存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序以实现如上述的业务流程自动采集方法。
实施本发明的一种业务流程自动采集方法及智能终端，具有以下有益效果：本发明可自动获取用户实际操作终端完成流程的过程，并转化为适合业务分析师使用的业务流程描述信息，节省大量人力物力，效率高成本低。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是一实施例提供的业务流程自动采集方法的流程图；
图2是一实施例提供的业务流程自动采集方法的流程图；
图3是一实施例提供的业务流程自动采集方法的流程图；
图4是一实施例提供的业务流程自动采集方法的流程图；
图5是一实施例提供的业务流程自动采集方法的流程图；
图6是一实施例提供的业务流程自动采集方法的流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
实施例
参考图1，本实施例的业务流程自动采集方法应用于智能终端，智能终端安装有软件或浏览器，用户使用软件或浏览器进行某一业务流程操作。作为选择，智能终端包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑等。该业务流程自动采集方法包括下述步骤：
S1、接收开始采集指令，获取智能终端的操作信息，操作信息包括用户操作智能终端实现某一业务的整个过程。
具体的，当需要获取某一业务流程的实际操作信息时，用户在智能终端上通过实体按键或虚拟按键开启采集过程，智能终端接收开始采集指令后开始获取智能终端的操作信息，操作信息包括用户操作智能终端实现某一业务的整个过程，也就是用户实际操作终端的过程。智能终端将采集的操作信息保存在本地存储器中，或通过通信网络将操作信息发送至服务器。
S2、接收结束采集指令，识别出操作信息对应的操作对象和操作内容，根据操作对象和操作内容生成业务流程描述信息，其中业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。
具体的，当某一业务流程完成后，用户在智能终端上通过实体按键或虚拟按键结束采集过程，智能终端接收结束采集指令后停止获取智能终端的操作信息。使用预设算法和模型处理操作信息，识别出操作信息对应的操作对象和操作内容，即用户每次操作对应的操作对象和操作内容，根据操作对象和操作内容生成业务流程描述信息，其中业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。业务流程描述信息按照用户的操作顺序从前到后展示用户每次操作的操作对象和操作内容，业务分析师可直接查看这些文字描述的业务流程描述信息，从而快速获取用户实际操作业务信息。作为选择，操作对象包括但不限于标题栏、工具栏、菜单栏、按钮、业务操作区等，不同的业务操作对象也不同，根据具体业务适应性调整操作对象。
作为选择，为方便业务分析师收集各个智能终端的业务流程描述信息，每个智能终端将得到的业务流程描述信息自动发送至业务分析师所使用的智能终端；或者，每个智能终端将得到的业务流程描述信息自动上传至服务器，业务分析师访问服务器下载业务流程描述信息。
作为选择，若某一业务执行过程中有较长的等待期，在等待期内并不会有业务流程进展，用户可手动暂时停止获取智能终端的操作信息，待重新开始执行流程后重新开始获取智能终端的操作信息。
本实施例可自动获取用户实际操作终端完成流程的过程，并转化为适合业务分析师使用的业务流程描述信息，节省大量人力物力，效率高成本低。
实施例
参考图2，本实施例的业务流程自动采集方法应用于智能终端，智能终端安装有软件或浏览器，用户使用软件或浏览器进行某一业务流程操作。作为选择，智能终端包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑等。该业务流程自动采集方法包括下述步骤：
S12、接收开始采集指令，录制智能终端的显示屏显示的操作视频，操作视频包括用户操作智能终端实现某一业务的整个过程。
具体的，当需要获取某一业务流程的实际操作视频时，用户在智能终端上通过实体按键或虚拟按键开启采集过程，智能终端接收开始采集指令后开始获取智能终端的操作视频，操作视频包括用户操作智能终端实现某一业务的整个过程，也就是用户实际操作终端的过程。智能终端将采集的操作视频保存在本地存储器中，或通过通信网络将操作视频发送至服务器。
S22、接收结束采集指令，识别出操作视频对应的操作对象和操作内容，根据操作对象和操作内容生成业务流程描述信息，其中业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。
具体的，当某一业务流程完成后，用户在智能终端上通过实体按键或虚拟按键结束采集过程，智能终端接收结束采集指令后停止获取智能终端的操作视频。使用预设算法和模型处理操作视频，识别出操作视频对应的操作对象和操作内容，即用户每次操作对应的操作对象和操作内容，根据操作对象和操作内容生成业务流程描述信息，其中业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。业务流程描述信息按照用户的操作顺序从前到后展示用户每次操作的操作对象和操作内容，即按照时间顺序根据操作对象和操作内容生成业务流程描述信息。业务分析师可直接查看这些文字描述的业务流程描述信息，从而快速获取用户实际操作业务信息。作为选择，操作对象包括但不限于标题栏、工具栏、菜单栏、按钮、业务操作区等，不同的业务操作对象也不同，根据具体业务适应性调整操作对象。
进一步，在本实施例的业务流程自动采集方法中，识别出操作视频对应的操作对象和操作内容包括：使用OCR识别技术并结合NLP技术识别出操作视频对应的操作对象和操作内容。OCR识别技术(Optical Character Recognition)指电子设备通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程，具体可参考现有技术。NLP技术(Natural Language Processing)可参考现有技术。
参考图3，使用OCR识别技术并结合NLP技术识别出操作视频对应的操作对象和操作内容包括：
S211、分离操作视频中图像的前景和背景。
S212、获取光标的位置信息。
S213、使用OCR识别技术并结合NLP技术，同时结合位置信息识别出操作对象，操作对象包括但不限于标题栏、工具栏、菜单栏、按钮、业务操作区等，不同的业务操作对象也不同，根据具体业务适应性调整操作对象。
S214、记录操作对象上施加的操作内容。
本实施例可自动获取用户实际操作终端完成流程的过程，并转化为适合业务分析师使用的业务流程描述信息，节省大量人力物力，效率高成本低。
实施例
参考图4，本实施例的业务流程自动采集方法应用于智能终端，智能终端安装有软件或浏览器，用户使用软件或浏览器进行某一业务流程操作。作为选择，智能终端包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑等。该业务流程自动采集方法包括下述步骤：
S13、接收开始采集指令，获取智能终端的操作指令，操作指令包括用户操作智能终端实现某一业务的整个过程。
具体的，当需要获取某一业务流程的实际操作指令时，用户在智能终端上通过实体按键或虚拟按键开启采集过程，智能终端接收开始采集指令后开始获取智能终端的操作指令，操作指令包括用户操作智能终端实现某一业务的整个过程，也就是用户实际操作终端的过程。智能终端将采集的操作指令保存在本地存储器中，或通过通信网络将操作指令发送至服务器。
S23、接收结束采集指令，识别出操作指令对应的操作对象和操作内容，根据操作对象和操作内容生成业务流程描述信息，其中业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。
具体的，当某一业务流程完成后，用户在智能终端上通过实体按键或虚拟按键结束采集过程，智能终端接收结束采集指令后停止获取智能终端的操作指令。使用预设算法和模型处理操作指令，识别出操作指令对应的操作对象和操作内容，即用户每次操作对应的操作对象和操作内容，根据操作对象和操作内容生成业务流程描述信息，其中业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。业务流程描述信息按照用户的操作顺序从前到后展示用户每次操作的操作对象和操作内容，业务分析师可直接查看这些文字描述的业务流程描述信息，从而快速获取用户实际操作业务信息。作为选择，操作对象包括但不限于标题栏、工具栏、菜单栏、按钮、业务操作区等，不同的业务操作对象也不同，根据具体业务适应性调整操作对象。
本实施例可自动获取用户实际操作终端完成流程的过程，并转化为适合业务分析师使用的业务流程描述信息，节省大量人力物力，效率高成本低。
实施例
参考图5，本实施例的业务流程自动采集方法应用于智能终端，智能终端安装有软件或浏览器，用户使用软件或浏览器进行某一业务流程操作。作为选择，智能终端包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑等。该业务流程自动采集方法包括下述步骤：
S11、接收开始采集指令，录制智能终端的显示屏显示的操作视频，同时自动捕捉智能终端接收的操作指令，操作视频为用户操作智能终端实现某一业务的整个过程。
具体的，当需要获取某一业务流程的实际操作信息时，用户在智能终端上通过实体按键或虚拟按键开启采集过程，智能终端接收开始采集指令后录制智能终端的显示屏显示的操作视频，同时自动捕捉智能终端接收的操作指令，操作视频为用户操作智能终端实现某一业务的整个过程，也就是用户实际操作终端的过程。智能终端将采集的操作视频和操作指令保存在本地存储器中，或通过通信网络将操作指令发送至服务器。
S21、接收结束采集指令，识别出操作视频对应的操作对象和操作内容，并通过操作指令进行确认和矫正，根据操作对象和操作内容生成业务流程描述信息，其中业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。
进一步，在本实施例的业务流程自动采集方法中，步骤S21中通过操作指令进行确认和矫正包括：
获取操作指令对应的智能终端操作系统的时间和事件序列对；
由时间和事件序列对确认和矫正操作对象和操作内容。
进一步，在本实施例的业务流程自动采集方法中，由时间和事件序列对确认和矫正操作对象和操作内容包括：
判断时间和事件序列对对应的操作对象和操作内容是否与操作视频对应的操作对象和操作内容一致；
若是，则根据操作对象和操作内容生成业务流程描述信息；
若否，则发出提示信息。
本实施例可自动获取用户实际操作终端完成流程的过程，并转化为适合业务分析师使用的业务流程描述信息，节省大量人力物力，效率高成本低。
实施例
参考图6，本实施例的业务流程自动采集方法应用于智能终端，智能终端安装有软件或浏览器，用户使用软件或浏览器进行某一业务流程操作。作为选择，智能终端包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑等。该业务流程自动采集方法包括下述步骤：
S1、接收开始采集指令，获取智能终端的操作信息，操作信息包括用户操作智能终端实现某一业务的整个过程。
具体的，当需要获取某一业务流程的实际操作信息时，用户在智能终端上通过实体按键或虚拟按键开启采集过程，智能终端接收开始采集指令后开始获取智能终端的操作信息，操作信息包括用户操作智能终端实现某一业务的整个过程，也就是用户实际操作终端的过程。智能终端将采集的操作信息保存在本地存储器中，或通过通信网络将操作信息发送至服务器。
S2、接收结束采集指令，识别出操作信息对应的操作对象和操作内容，根据操作对象和操作内容生成业务流程描述信息，其中业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。
具体的，当某一业务流程完成后，用户在智能终端上通过实体按键或虚拟按键结束采集过程，智能终端接收结束采集指令后停止获取智能终端的操作信息。使用预设算法和模型处理操作信息，识别出操作信息对应的操作对象和操作内容，即用户每次操作对应的操作对象和操作内容，根据操作对象和操作内容生成业务流程描述信息，其中业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。业务流程描述信息按照用户的操作顺序从前到后展示用户每次操作的操作对象和操作内容，业务分析师可直接查看这些文字描述的业务流程描述信息，从而快速获取用户实际操作业务信息。作为选择，操作对象包括但不限于标题栏、工具栏、菜单栏、按钮、业务操作区等，不同的业务操作对象也不同，根据具体业务适应性调整操作对象。
S3、将业务流程描述信息转换为自动业务流程文件，其中自动业务流程文件用于RPA机器人自动执行业务使用。自动业务流程文件是形式化的描述，例如第一步：打开APP(名称、ID、位置)；第二步：单击、输入控件(ID、名称、位置)；第三步······。RPA机器人可执行自动业务流程文件，从而实现业务流程的自动完成。
S4、将业务流程描述信息和自动业务流程文件发送至预设终端或服务器。
本实施例可自动获取用户实际操作终端完成流程的过程，并转化为适合业务分析师使用的业务流程描述信息，节省大量人力物力，效率高成本低。
实施例
本实施例的智能终端包括存储器和处理器，处理器连接存储器；存储器用于存储计算机程序；处理器用于执行计算机程序以实现如上述的业务流程自动采集方法。作为选择，智能终端包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑等。
本实施例可自动获取用户实际操作终端完成流程的过程，并转化为适合业务分析师使用的业务流程描述信息，节省大量人力物力，效率高成本低。
实施例
在上述实施例的基础上，本实施例中通过智能终端物理地址、智能终端IP地址或用户账户等用户信息对采集数据进行标记，即每个生成的业务流程描述信息都有对应的标记信息。业务分析师可结合用户信息和业务流程描述信息对业务流程进行有针对性的优化。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。
Claims (10)
1.一种业务流程自动采集方法，其特征在于，包括：
S1、接收开始采集指令，获取智能终端的操作信息，所述操作信息包括用户操作智能终端实现某一业务的整个过程；
S2、接收结束采集指令，识别出所述操作信息对应的操作对象和操作内容，根据所述操作对象和所述操作内容生成业务流程描述信息，其中所述业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。
2.根据权利要求1所述的业务流程自动采集方法，其特征在于，所述步骤S1中获取智能终端的操作信息包括：录制智能终端的显示屏显示的操作视频，所述操作视频包括用户操作智能终端实现某一业务的整个过程；
所述步骤S2中识别出所述操作信息对应的操作对象和操作内容包括：识别出所述操作视频对应的操作对象和操作内容。
3.根据权利要求2所述的业务流程自动采集方法，其特征在于，所述识别出所述操作视频对应的操作对象和操作内容包括：使用OCR识别技术并结合NLP技术识别出所述操作视频对应的操作对象和操作内容；
所述步骤S2中根据所述操作对象和所述操作内容生成业务流程描述信息包括：按照时间顺序根据所述操作对象和所述操作内容生成业务流程描述信息。
4.根据权利要求3所述的业务流程自动采集方法，其特征在于，所述使用OCR识别技术并结合NLP技术识别出所述操作视频对应的操作对象和操作内容包括：
S211、分离所述操作视频中图像的前景和背景；
S212、获取光标的位置信息；
S213、使用OCR识别技术并结合NLP技术，同时结合所述位置信息识别出操作对象，所述操作对象包括标题栏、工具栏、菜单栏、按钮、业务操作区中一种或多种；
S214、记录所述操作对象上施加的操作内容。
5.根据权利要求1所述的业务流程自动采集方法，其特征在于，所述步骤S1中获取智能终端的操作信息包括：自动捕捉智能终端接收的操作指令，所述操作指令包括用户操作智能终端实现某一业务的整个过程；
所述步骤S2中识别出所述操作信息对应的操作对象和操作内容包括：识别出所述操作指令对应的操作对象和操作内容。
6.根据权利要求1所述的业务流程自动采集方法，其特征在于，所述步骤S1包括：S11、接收开始采集指令，录制智能终端的显示屏显示的操作视频，同时自动捕捉智能终端接收的操作指令，所述操作视频为用户操作智能终端实现某一业务的整个过程；
所述步骤S2包括：S21、接收结束采集指令，识别出所述操作视频对应的操作对象和操作内容，并通过所述操作指令进行确认和矫正，根据所述操作对象和所述操作内容生成业务流程描述信息，其中所述业务流程描述信息为用户操作智能终端实现某一业务的整个过程对应的文字描述。
7.根据权利要求6所述的业务流程自动采集方法，其特征在于，所述步骤S21中通过所述操作指令进行确认和矫正包括：
获取所述操作指令对应的智能终端操作系统的时间和事件序列对；
由所述时间和事件序列对确认和矫正所述操作对象和操作内容。
8.根据权利要求7所述的业务流程自动采集方法，其特征在于，所述由所述时间和事件序列对确认和矫正所述操作对象和操作内容包括：
判断所述时间和事件序列对对应的操作对象和操作内容是否与所述操作视频对应的操作对象和操作内容一致；
若是，则根据所述操作对象和所述操作内容生成业务流程描述信息；
若否，则发出提示信息。
9.根据权利要求1所述的业务流程自动采集方法，其特征在于，在所述步骤S2之后还包括：
S3、将所述业务流程描述信息转换为自动业务流程文件，其中所述自动业务流程文件用于RPA机器人自动执行业务使用；
S4、将所述业务流程描述信息和所述自动业务流程文件发送至预设终端或服务器。
10.一种智能终端，其特征在于，包括存储器和处理器，所述处理器连接所述存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序以实现如权利要求1-9任一项所述的业务流程自动采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911139440.4A CN111047147B (zh) | 2019-11-20 | 2019-11-20 | 一种业务流程自动采集方法及智能终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911139440.4A CN111047147B (zh) | 2019-11-20 | 2019-11-20 | 一种业务流程自动采集方法及智能终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111047147A true CN111047147A (zh) | 2020-04-21 |
| CN111047147B CN111047147B (zh) | 2023-09-26 |
Family
ID=70231857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911139440.4A Active CN111047147B (zh) | 2019-11-20 | 2019-11-20 | 一种业务流程自动采集方法及智能终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047147B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112181854A (zh) * | 2020-10-30 | 2021-01-05 | 重庆农村商业银行股份有限公司 | 一种生成流程自动化脚本的方法、装置、设备及存储介质 |
| CN112560023A (zh) * | 2020-12-07 | 2021-03-26 | 广东电力通信科技有限公司 | 交互式数据采集方法、机器人、系统及计算机设备 |
| CN113821681A (zh) * | 2021-09-17 | 2021-12-21 | 深圳力维智联技术有限公司 | 视频标签生成方法、装置及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101178798A (zh) * | 2007-12-12 | 2008-05-14 | 江苏省电力公司 | 跨业务系统的流程监控方法 |
| CN104714941A (zh) * | 2013-12-12 | 2015-06-17 | 国际商业机器公司 | 用于使用自然语言处理来增强业务流程执行的方法和系统 |
| CN104731606A (zh) * | 2015-04-10 | 2015-06-24 | 上海普坤信息科技有限公司 | 基于识别抓取技术实现企业应用集成管理的系统及方法 |
| US9283990B1 (en) * | 2011-03-25 | 2016-03-15 | Infamous Robotics, LLC | Robotic personal assistant |
| CN106993032A (zh) * | 2017-03-24 | 2017-07-28 | 上海集时通网络科技有限公司 | 基于移动互联网应用的嵌入式精准沟通云服务平台 |
| CN108256071A (zh) * | 2018-01-17 | 2018-07-06 | 广东欧珀移动通信有限公司 | 录屏文件的生成方法、装置、终端及存储介质 |
| CN108446853A (zh) * | 2018-03-23 | 2018-08-24 | 肖娟 | 一种业务流程分析系统及方法 |
| CN109583676A (zh) * | 2018-09-11 | 2019-04-05 | 阿里巴巴集团控股有限公司 | 分布式系统中采集业务流程数据的方法、系统及其服务器 |
| WO2019074125A1 (ja) * | 2017-10-13 | 2019-04-18 | ＢｉｚｔｅＸ株式会社 | ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム |
| US20190129824A1 (en) * | 2017-10-30 | 2019-05-02 | Bank Of America Corporation | Robotic process automation enabled file dissection for error diagnosis and correction |
| CN110286998A (zh) * | 2019-05-23 | 2019-09-27 | 南京苏宁软件技术有限公司 | 虚拟机图形用户界面生效、执行过程记录方法和装置 |
-
2019
- 2019-11-20 CN CN201911139440.4A patent/CN111047147B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101178798A (zh) * | 2007-12-12 | 2008-05-14 | 江苏省电力公司 | 跨业务系统的流程监控方法 |
| US9283990B1 (en) * | 2011-03-25 | 2016-03-15 | Infamous Robotics, LLC | Robotic personal assistant |
| CN104714941A (zh) * | 2013-12-12 | 2015-06-17 | 国际商业机器公司 | 用于使用自然语言处理来增强业务流程执行的方法和系统 |
| CN104731606A (zh) * | 2015-04-10 | 2015-06-24 | 上海普坤信息科技有限公司 | 基于识别抓取技术实现企业应用集成管理的系统及方法 |
| CN106993032A (zh) * | 2017-03-24 | 2017-07-28 | 上海集时通网络科技有限公司 | 基于移动互联网应用的嵌入式精准沟通云服务平台 |
| WO2019074125A1 (ja) * | 2017-10-13 | 2019-04-18 | ＢｉｚｔｅＸ株式会社 | ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム |
| US20190129824A1 (en) * | 2017-10-30 | 2019-05-02 | Bank Of America Corporation | Robotic process automation enabled file dissection for error diagnosis and correction |
| CN108256071A (zh) * | 2018-01-17 | 2018-07-06 | 广东欧珀移动通信有限公司 | 录屏文件的生成方法、装置、终端及存储介质 |
| CN108446853A (zh) * | 2018-03-23 | 2018-08-24 | 肖娟 | 一种业务流程分析系统及方法 |
| CN109583676A (zh) * | 2018-09-11 | 2019-04-05 | 阿里巴巴集团控股有限公司 | 分布式系统中采集业务流程数据的方法、系统及其服务器 |
| CN110286998A (zh) * | 2019-05-23 | 2019-09-27 | 南京苏宁软件技术有限公司 | 虚拟机图形用户界面生效、执行过程记录方法和装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112181854A (zh) * | 2020-10-30 | 2021-01-05 | 重庆农村商业银行股份有限公司 | 一种生成流程自动化脚本的方法、装置、设备及存储介质 |
| CN112181854B (zh) * | 2020-10-30 | 2023-12-22 | 重庆农村商业银行股份有限公司 | 一种生成流程自动化脚本的方法、装置、设备及存储介质 |
| CN112560023A (zh) * | 2020-12-07 | 2021-03-26 | 广东电力通信科技有限公司 | 交互式数据采集方法、机器人、系统及计算机设备 |
| CN113821681A (zh) * | 2021-09-17 | 2021-12-21 | 深圳力维智联技术有限公司 | 视频标签生成方法、装置及设备 |
| CN113821681B (zh) * | 2021-09-17 | 2023-09-26 | 深圳力维智联技术有限公司 | 视频标签生成方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111047147B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047147B (zh) | 一种业务流程自动采集方法及智能终端 | |
| US7930226B1 (en) | User-driven document-based data collection | |
| US20170242832A1 (en) | Character editing method and device for screen display device | |
| CN102904996A (zh) | 一种手机触摸屏性能测试的方法及装置、系统 | |
| CN111552633A (zh) | 接口的异常调用测试方法、装置、计算机设备及存储介质 | |
| CN102323873B (zh) | 即时通信中用以触发图标回复的方法及系统 | |
| CN107491383A (zh) | 应用崩溃操作日志的捕获方法、装置及移动终端 | |
| CN109960621A (zh) | 一种基于大数据可视化监控平台的数据抽取方法 | |
| CN111694660B (zh) | 云手机数据发送方法、计算机装置和存储介质 | |
| CN103076879A (zh) | 基于人脸信息的多媒体交互方法及装置及终端 | |
| CN109598602B (zh) | 对账方法、装置、设备及计算机可读存储介质 | |
| CN111628896A (zh) | It运维管理方法、装置、设备及计算机存储介质 | |
| CN106354482A (zh) | 一种获取自动化脚本、自动化脚本的应用方法及装置 | |
| WO2021129335A1 (zh) | 操作监控方法及装置、操作分析方法及装置 | |
| CN105095479A (zh) | 一种移动终端及其实现照片分类管理的方法 | |
| CN110798445A (zh) | 公共网关接口测试方法、装置、计算机设备及存储介质 | |
| CN109947635A (zh) | 一种数据上报方法、装置、存储介质及终端设备 | |
| US20180330206A1 (en) | Machine-based learning systems, methods, and apparatus for interactively mapping raw data objects to recognized data objects | |
| CN102664008B (zh) | 一种用以传输数据的方法、终端及系统 | |
| CN112035205A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN108763050A (zh) | 一种应用内存泄露的检测方法和装置 | |
| CN110059184B (zh) | 一种作业错题收集分析方法及系统 | |
| CN112307386A (zh) | 信息监控方法、系统、电子设备及计算机可读存储介质 | |
| CN104182479A (zh) | 一种处理信息的方法及装置 | |
| CN111931465B (zh) | 基于用户操作自动生成用户手册的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |