CN111931465A

CN111931465A - 基于用户操作自动生成用户手册的方法及系统

Info

Publication number: CN111931465A
Application number: CN202010820202.6A
Authority: CN
Inventors: 翁子君; 何穗瑜; 梁敏; 王菲
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2020-08-14
Filing date: 2020-08-14
Publication date: 2020-11-13
Anticipated expiration: 2040-08-14
Also published as: CN111931465B

Abstract

本发明提供的一种基于用户操作自动生成用户手册的方法及系统，该方法包括：获取用户在终端显示界面上操作产生的触发事件和对应的时间戳；根据触发事件、对应的时间戳以及对应的操作日志，生成所述用户手册。本发明通过触发事件和对应的时间戳配合操作日志，可自动形成用户手册，解决了用户手册版本多、获取沟通成本高的问题。

Description

基于用户操作自动生成用户手册的方法及系统

技术领域

本发明涉及软件操作领域，尤其涉及一种基于用户操作自动生成用户手册的方法及系统。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着互联网的普及以及计算机技术的发展，银行金融科技也由传统的研发模式向互联网工作模式转换，更加注重迭代速度以及研发效率，并在多数工作推进过程中，引入自动化技术，使用技术工具替代人力操作，将人力从简单重复的劳作中释放出来，投入到更加复杂的创造工作中。同时，面对日益激烈的市场竞争环境，业务创新的步子加快，交易更新的速率提高，用户手册的更新频率也随之提高，给科研人员增加了很多编写用户手册的工作量，占用了大量的人力资源。期望通过使用工具支持研发人员在验收交易时自动生成用户手册来释放这部分人力，同时能够保证自动生成用户手册准确性。

用户手册，是一种向用户描述软件功能、展示软件界面的说明工具。在业务实践中，用户手册通常由研发人员编写好发于业务主管部门，基层业务人员获取用户手册不是十分方便。业务主管部门在进行需求创新时，部分需求需要针对具体场景、不同渠道提供界面UI，业务人员需要联系不同的科研部门获取用户手册，沟通成本高。需要考虑一种方便用户手册使用者获取手册的方法，在安全可控的范围哩，授权使用者获取用户手册，提高系统资产的可获得性，节约沟通成本。

发明内容

为了解决上述问题，本发明实施例提供了一种基于用户操作自动生成用户手册的方法，包括：

获取用户在终端显示界面上操作产生的触发事件和对应的时间戳；

根据触发事件、对应的时间戳以及对应的操作日志，生成所述用户手册。

在一些实施例中，所述获取用户在终端显示界面上的触发事件位置信息和对应的时间戳，包括：

当用户点击所述触发事件对应的按钮时，记录当前界面信息、对应的按钮位置信息以及当前的时间戳；

从数据库中查找当前界面信息下对应该按钮位置信息的触发事件。

在一些实施例中，所述根据触发事件、对应的时间戳以及对应的操作日志，生成所述用户手册，包括：

对所述操作日志对应的程序代码进行文字翻译，得到触发事件的操作信息；

结合所述时间戳、所述操作信息以及预设的语料数据库中的顺序分词，生成所述用户手册。

在一些实施例中，还包括：

获取对应每个所述时间戳的终端显示界面的截屏图片；

截取所述截屏图片中所述触发事件对应的操作区域；

基于图像识别方法识别所述操作区域得到触发事件标识信息；

比对数据库中预存的触发事件标识信息和识别出所述触发事件标识信息；若比对一致，则执行所述生成所述用户手册的步骤。

在一些实施例中，还包括：

根据每个时间戳获取对应的预设操作时间区间；

针对每个所述时间戳，获取对应预设操作时间区间内的终端显示界面的截屏图片；

截取每个所述截屏图片中所述触发事件对应的操作区域；

基于图像识别方法识别每个截屏图片中的所述操作区域，得到对应数量的触发事件标识信息；

比对数据库中预存的触发事件标识信息和识别出的所有操作区域的所述触发事件标识信息；若比对一致的比例高于设定比例，则执行所述生成所述用户手册的步骤。

本发明另一方面实施例提供一种基于用户操作自动生成用户手册的系统，包括：

获取模块，获取用户在终端显示界面上操作产生的触发事件和对应的时间戳；

用户手册生成模块，根据触发事件、对应的时间戳以及对应的操作日志，生成所述用户手册。

在一些实施例中，所述获取模块，包括：

记录单元，当用户点击终端界面上的按钮时，记录当前界面信息、对应的按钮位置信息以及当前的时间戳；

查找单元，从数据库中查找当前界面信息下对应该按钮位置信息的触发事件。

在一些实施例中，所述用户手册生成模块，包括：

文字翻译单元，对所述操作日志对应的程序代码进行文字翻译，得到触发事件的操作信息；

生成单元，结合所述时间戳、所述操作信息以及预设的语料数据库中的顺序分词，生成所述用户手册。

在一些实施例中，还包括：

截屏图片获取模块，获取对应每个所述时间戳的终端显示界面的截屏图片；

操作区域截取模块，截取所述截屏图片中所述触发事件对应的操作区域；

图片识别模块，基于图像识别系统识别所述操作区域得到触发事件标识信息；

比对模块，比对数据库中预存的触发事件标识信息和识别出所述触发事件标识信息；若比对一致，则执行所述生成所述用户手册的步骤。

在一些实施例中，还包括：

时间区间获取模块，根据每个时间戳获取对应的预设操作时间区间；

截屏图片获取模块，针对每个所述时间戳，获取对应预设操作时间区间内的终端显示界面的截屏图片；

操作区域截取模块，截取每个所述截屏图片中所述触发事件对应的操作区域；

图片识别模块，基于图像识别系统识别每个截屏图片中的所述操作区域，得到对应数量的触发事件标识信息；

比对模块，比对数据库中预存的触发事件标识信息和识别出的所有操作区域的所述触发事件标识信息；若比对一致的比例高于设定比例，则执行所述生成所述用户手册的步骤。

本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一所述方法。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述第一方面任一所述方法的计算机程序。

综上所述，本发明提供的一种基于用户操作自动生成用户手册的方法及系统，通过的触发事件和对应的时间戳配合操作日志，可自动形成用户手册，解决了用户手册版本多、获取沟通成本高的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的整体架构示意图；

图2为本发明实施例中提供的一种基于用户操作自动生成用户手册的方法流程示意图；

图3为本发明实施例中提供的一种基于用户操作自动生成用户手册的系统的结构示意图。

图4为适用于实现本发明中的基于用户操作自动生成用户手册的方法的计算机设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

虽然本发明提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本发明实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行。

在现有技术中，在业务实践中，用户手册通常由研发人员编写好发于业务主管部门，基层业务人员获取用户手册不是十分方便。业务主管部门在进行需求创新时，部分需求需要针对具体场景、不同渠道提供界面UI，业务人员需要联系不同的科研部门获取用户手册，沟通成本高。

基于此，本发明提供一种基于用户操作自动生成用户手册的方法及系统，通过的触发事件和对应的时间戳配合操作日志，可自动形成用户手册，解决用户手册版本多、获取沟通成本高的问题。

如图1所示，是一种基于用户操作自动生成用户手册功能结构框图。所述功能可以对通过PC端或者手机、PAD移动终端，或加载至银行网点常用的ATM、智能终端等使用GUI界面与客户交互的功能进行自动识别客户关键操作，并获取相关影像资料，自动加工生成用户手册。

图2示出了本发明实施例中一种基于用户操作自动生成用户手册的方法的流程示意图，包括：

S1：获取用户在终端显示界面上操作产生的触发事件和对应的时间戳。

S2：根据触发事件、对应的时间戳以及对应的操作日志，生成所述用户手册。

在一些实施例中，步骤S1具体包括：

S11：当用户点击所述触发事件对应的按钮时，记录当前界面信息、对应的按钮位置信息以及当前的时间戳；

S12：从数据库中查找当前界面信息下对应该按钮位置信息的触发事件。

在一些实施例中，步骤S2包括：

S21：对所述操作日志对应的程序代码进行文字翻译，得到触发事件的操作信息；

S22：结合所述时间戳、所述操作信息以及预设的语料数据库中的顺序分词，生成所述用户手册。

举例而言，本发明可以通过运用GUI(Graphical User Interface)，即用户图形界面技术、系统操作监控、日志解析、OCR识别、图形处理、标记视频标签技术，实现当客户点击按钮、录入字段时，系统进行事件的监控和捕捉，后通过解析操作日志、由系统翻译模块将操作日志翻译为可供用户阅读的汉语言或外语等文字，形成用户手册，无需科技人员手工截图以及编写，释放人力资源，提高工作效率。

可以理解，本发明中的“触发事件”是指用户点击操作界面上的按钮时触发系统运行某一操作指令(例如截屏、打开摄像头等命令)。

在一些实施例中，还包括：

获取对应每个所述时间戳的终端显示界面的截屏图片；

截取所述截屏图片中所述触发事件对应的操作区域；

本领域技术人员明了，每个触发事件对应一个操作区域，该操作区域可以包括按钮、下拉条等，可以通过点击按钮(例如拍照按钮即可调用摄像头)来操作触发事件，本实施例中可以通过图像识别技术(例如OCR识别或者二值化像素处理等)对触发事件的确定进行一致性比较，保证了用户手册的准确性。例如通过OCR技术，按照该位置将系统截图中的UI文字识别与采集的UI标签进行识别，进行一致性校验，如校验通过则采集信息，增加时间戳进行图片命名。

此外，还可以同时结合通过矢量定位技术和OCR技术分析对比用户手册截图与监听日志中用户操作的一致性，提高用户手册内容准确度；通过标记用户手册中具体操作时间戳及在录制视频时实现记录时间轴标签，支持用户手册编写者对用户手册进行复查；将用户手册保存在云服务器，完成系统资产积累；运用权限控制和文档加密功能，授权相关用户，让用户手册的使用者也可以方便地通过客户端获取最新以及历史版本的用户手册，开展相关的工作。

为了进一步提高准确性，一些实施例中，本发明还包括：

根据每个时间戳获取对应的预设操作时间区间；

截取每个所述截屏图片中所述触发事件对应的操作区域；

该实施例中，通过截取设定操作时间区间内的每一帧的图像，进而进行多次比对，通过操作时间区间补偿对比次数，避免截图模糊、关键要素被箭头遮挡等异常情况导致图片识别失败的情况。

当然，本发明还可以通过视频录制的方式，方便用户查看，在此不做赘述。

下面本发明提供一具体场景，如下所示。

步骤A1：判断是否需要全称录制视频，如为是，则进行自动生成用户手册开始至动作结束，全程进行A8的操作，即录制视频。

步骤A2：通过监控判断是否进行A3步骤的用户操作信息采集。如未收到采集指令，则系统的采集模块进行如A9的休眠步骤。如收到采集指令则进行A4步骤的用户操作采集操作。

步骤A5：进行GUI控件位置采集，并同步截取系统截图，通过按GUI操作时间截取界面图片，以此期望保证操作与截图的一致性。

步骤A11：首先，按上送的用户操作位置定位到截图中的操作位置，运用OCR技术，进行UI控件名称识别，如一致，则认为截图可用；如不一致，则进入A13判断是否已经到达匹配上限。如已经到达匹配上限，则进入A14步，提示用户，图片截取失败，仅输出采集模块11的操作描述。如未到达匹配上限，则按操作时间区间再进行截图对比操作，进行A11步骤。该操作时间区间可由用户配置，容错时间。如容错时间为1s，则操作时间区间为[操作时间-1s,操作时间+1s]。设置系统每秒后台截图40张，则操作时间区间内可匹配进行图文匹配120次。通过操作时间区间补偿对比次数，避免截图模糊、关键要素被箭头遮挡等异常情况导致图片识别失败的情况。

可以理解，本发明解决了用户手册繁复的手工操作问题，提供了一种自动生成用户手册的操作思路，增加校验后台监听的用户操作要素与用户手册中界面截图操作要素的一致性，提高手册编写的准确度。在保证生成用户手册高可用的情况下，简化人力操作；支持对操作过程进行全程录制视频并根据用户操作标记视频标签，提供用户可视化操作指引的同时，方便用户根据视频标签定位手册内容与录像进行比照；解决了用户手册版本多、获取沟通成本高的问题。通过版本验收自动生成用户手册，实现各个版本的资产积累，并通过线上查看、下载的方式，减少沟通成本。

基于相同的发明构思，另一方面实施例提供一种基于用户操作自动生成用户手册的系统，如图3所示，包括：

获取模块1，获取用户在终端显示界面上操作产生的触发事件和对应的时间戳；

用户手册生成模块2，根据触发事件、对应的时间戳以及对应的操作日志，生成所述用户手册。

本发明提供的一种基于用户操作自动生成用户手册的系统，通过的触发事件和对应的时间戳配合操作日志，可自动形成用户手册，解决了用户手册版本多、获取沟通成本高的问题。

在一些实施例中，所述获取模块，包括：

在一些实施例中，所述用户手册生成模块，包括：

在一些实施例中，还包括：

从硬件层面来说，为了本发明提供一种用于实现所述基于用户操作自动生成用户手册的方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现服务器、装置、分布式消息中间件集群装置、各类数据库以及用户终端等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例中的基于用户操作自动生成用户手册的方法的实施例，以及，基于用户操作自动生成用户手册的方法装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。

图4为本发明实施例的电子设备9600的系统构成的示意框图。如图4所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图4是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

一实施例中，基于用户操作自动生成用户手册的方法功能可以被集成到中央处理器9100中。例如，中央处理器9100可以被配置为进行如下控制：

从上述描述可知，本发明的实施例提供的电子设备，通过的触发事件和对应的时间戳配合操作日志，可自动形成用户手册，解决用户手册版本多、获取沟通成本高的问题。

在另一个实施方式中，基于用户操作自动生成用户手册的方法装置可以与中央处理器9100分开配置，例如可以将基于用户操作自动生成用户手册的方法配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现基于用户操作自动生成用户手册的方法功能。

如图4所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图4中所示的所有部件；此外，电子设备9600还可以包括图4中没有示出的部件，可以参考现有技术。

如图4所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。

其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。

输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。

存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。

本发明的实施例还提供能够实现上述实施例中的执行主体可以为服务器的基于用户操作自动生成用户手册的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于用户操作自动生成用户手册的方法的全部步骤。

从上述描述可知，本发明的实施例提供的计算机可读存储介质，通过的触发事件和对应的时间戳配合操作日志，可自动形成用户手册，解决了用户手册版本多、获取沟通成本高的问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于用户操作自动生成用户手册的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取用户在终端显示界面上的触发事件位置信息和对应的时间戳，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据触发事件、对应的时间戳以及对应的操作日志，生成所述用户手册，包括：

4.根据权利要求1所述的方法，其特征在于，还包括：

获取对应每个所述时间戳的终端显示界面的截屏图片；

截取所述截屏图片中所述触发事件对应的操作区域；

5.根据权利要求1所述的方法，其特征在于，还包括：

根据每个时间戳获取对应的预设操作时间区间；

截取每个所述截屏图片中所述触发事件对应的操作区域；

6.一种基于用户操作自动生成用户手册的系统，其特征在于，包括：

7.根据权利要求6所述的系统，其特征在于，所述获取模块，包括：

8.根据权利要求6所述的系统，其特征在于，所述用户手册生成模块，包括：

9.根据权利要求6所述的系统，其特征在于，还包括：

10.根据权利要求6所述的系统，其特征在于，还包括：

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一所述方法的计算机程序。