CN115841098B - 基于数据识别的交互式批量填充方法与系统 - Google Patents

Abstract

本发明公开了一种基于数据识别的交互式批量填充方法与系统，涉及数据识别技术领域，通过对用户的填充交互视频中的交互图像进行处理，将用户的身份信息填充到表单上，再通过长短期神经网络模型对交互语音进行处理输出多个表单填充词，并将多个表单填充词填充到表单的多个框中，再基于图神经网络模型对填充后的表单进行异常检测，最终完成表单的填充，该方法提升了用户填写表单的效率且满足不同页面上用户的填写需求。

Description

基于数据识别的交互式批量填充方法与系统

技术领域

本发明涉及数据识别技术领域，具体涉及基于数据识别的交互式批量填充方法与系统。

背景技术

随着科技的发展，越来越多的网站和应用程序都需要用户填写表单，以便获取用户的信息。现有的填充方法大多为用户按照正常流程手动填写一遍表单，之后以此填写内容为模板，对相同页面实现一键填写功能。用户需要事先将操作录制工具打开，并在页面各输入框依次填入所需内容，填写完成后，点击完成录制，即可获取用户此次操作的所有输入值，并以系统预制的格式进行存储。用户下次打开相同的页面时，会在右上角悬浮框显示提示，用户只需选择上次录制的记录，并点击应用按钮，即可将内容一键填入，实现内容的快速填充。该填充方法存在一定的局限性，比如所有页面只能填充相同的值，不能根据用户的不同需求在不同页面上进行填写。而且用户手动填写表单的过程非常繁琐，耗费大量时间，并且容易出错。

因此，如何提升用户填写表单的效率且满足不同页面上用户的填写需求，成为目前亟待解决的问题。

发明内容

本发明主要解决的技术问题是如何提升用户填写表单的效率且满足不同页面上用户的填写需求。

根据第一方面，一种实施例中提供一种基于数据识别的交互式批量填充方法，包括：S1、获取表单对应的用户的填充交互视频，所述填充交互视频包括交互图像和交互语音，所述表单包括多个框；S2、基于所述交互图像进行人脸识别，得到所述用户的身份信息；S3、判断所述用户的身份信息是否具备表单的填充权限； S4、若所述用户的身份信息具备表单的填充权限，则将所述用户的身份信息填充到表单；S5、基于所述交互语音使用长短期神经网络模型进行语音识别输出多个表单填充词，所述长短期神经网络模型的输入包括所述交互语音、所述表单，所述长短期神经网络模型的输出为所述多个表单填充词，其中所述多个表单填充词与所述多个框一一对应；S6、将所述多个表单填充词填充到表单的多个框中得到填充后的表单；S7、基于图神经网络模型检测所述填充后的表单是否异常，其中所述图神经网络模型的输入为所述填充后的表单的多个节点和多条边，多个节点为填充后表单的多个框，多条边为多个节点之间的关系，所述图神经网络模型的输出为填充后的表单正常或异常；S8、若填充后的表单正常，则确定填充结束，若填充后的表单异常，则提醒用户进行人工填充。

在一些实施例中，若所述用户的身份信息不具备表单的填充权限，则发出声音以提醒用户。

在一些实施例中，所述长短期神经网络模型经过梯度下降法训练得到。

在一些实施例中，将与所述填充后的表单相似度最高的参考表单推荐给用户。

在一些实施例中，所述将与所述第一类似症状用户的症状相似度最高的第二类似症状用户推荐给所述第一类似症状用户，包括：计算所述填充后的表单的SimHash值和数据库中多个历史表单的SimHash值，通过汉明距离计算出所述填充后的表单的SimHash值与所述数据库中多个历史表单的SimHash值的多个相似度，将多个历史表单中相似度最高的历史表单作为参考表单，并将所述参考表单推荐给用户。

在一些实施例中，所述长短期神经网络模型通过训练过程获取，所述训练过程包括：获取多个训练样本，所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为样本交互语音、样本表单，所述标签为多个表单填充词；基于所述多个训练样本训练初始的长短期神经网络模型，得到所述长短期神经网络模型。

根据第二方面，一种实施例中提供基于数据识别的交互式批量填充系统，其特征在于，包括：获取模块，用于获取表单对应的用户的填充交互视频，所述填充交互视频包括交互图像和交互语音，所述表单包括多个框；识别模块，用于基于所述交互图像进行人脸识别，得到所述用户的身份信息；判断模块，用于判断所述用户的身份信息是否具备表单的填充权限； 第一填充模块，用于若所述用户的身份信息具备表单的填充权限，则将所述用户的身份信息填充到表单；输出模块，用于基于所述交互语音使用长短期神经网络模型进行语音识别输出多个表单填充词，所述长短期神经网络模型的输入包括所述交互语音、所述表单，所述长短期神经网络模型的输出为所述多个表单填充词，其中所述多个表单填充词与所述多个框一一对应；第二填充模块，用于将所述多个表单填充词填充到表单的多个框中得到填充后的表单；检测模块，用于基于图神经网络模型检测所述填充后的表单是否异常，其中所述图神经网络模型的输入为所述填充后的表单的多个节点和多条边，多个节点为填充后表单的多个框，多条边为多个节点之间的关系，所述图神经网络模型的输出为填充后的表单正常或异常；提醒模块，用于若填充后的表单正常，则确定填充结束，若填充后的表单异常，则提醒用户进行人工填充。

根据第三方面，一种实施例中提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的基于数据识别的交互式批量填充方法的步骤。

根据第四方面，一种实施例中提供一种电子设备，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现上述的方法。

根据第五方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述方面中任一项所述的方法。

依据上述实施例提供的基于数据识别的交互式批量填充方法与系统，通过对用户的填充交互视频中的交互图像进行处理，将用户的身份信息填充到表单上，再通过长短期神经网络模型对交互语音进行处理输出多个表单填充词，并将多个表单填充词填充到表单的多个框中，再基于图神经网络模型对填充后的表单进行异常检测，最终完成表单的填充，该方法提升了用户填写表单的效率且满足不同页面上用户的填写需求。

附图说明

图1为本发明实施例提供的一种基于数据识别的交互式批量填充方法的流程示意图；

图2为本发明实施例提供的一种表单的示意图；

图3为本发明实施例提供的多个节点和多条边的示意图；

图4为本发明实施例提供的一种基于数据识别的交互式批量填充系统的示意图；

图5为本发明实施例提供的一种电子设备的示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本发明能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本发明相关的一些操作并没有在说明书中显示或者描述，这是为了避免本发明的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本发明所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

本发明实施例中，提供了如图1所示的一种基于数据识别的交互式批量填充方法，包括步骤S1~S8：

步骤S1，获取表单对应的用户的填充交互视频，所述填充交互视频包括交互图像和交互语音，所述表单包括多个框。

表单可以为电脑网页表单、手机app表单、WEB应用表单。表单包括多个框，多个框可以被用于填充，多个框可以为输入框、下拉框、日期选择框、单选多选框。如图2所示，图2为本发明实施例提供的一种表单的示意图。

填充交互视频为用户录制的用于填充表单的视频，填充交互视频表达了用户的填充指示。所述填充交互视频包括交互图像和交互语音。交互图像可以为用户的多张图像。交互图像可以为填充交互视频中的一帧图像。交互语音为用户填充交互视频中的用户语音数据。交互语音可以表达用户的表单填充指示，例如交互语音为“任务名称为项目交付任务，任务标号为123，任务类型为一般任务类型，优先级为较高，计划任务周期为11”。

所述填充交互视频是指以电信号方式记录的动态影像，由多幅时间上连续的静态图像组成。其中，所述多个图像中的每一个图像为视频数据的一帧。

在一些实施例中，视频数据的格式可以包括但不限于：高密度数字视频光盘(Digital Video Disc，DVD)、流媒体格式(Flash Video，FLV)、动态图像专家组(MPEG，Motion Picture Experts Group)、音频视频交错(Audio Video Interleaved，AVI)、家用录像系统(Video Home System，VHS)和视频容器文件格式(Real Media file format，RM)等中的一种或多种组合。

步骤S2，基于所述交互图像进行人脸识别，得到所述用户的身份信息。

用户的身份信息可以包括用户的工号、身份证号、名字、工作年龄、级别、职位、身体状况、是否离职、性别等信息。

在一些实施例中，可以通过人脸识别算法对所述交互图像进行人脸识别得到用户的身份信息。人脸识别算法可以为基于模板匹配的方法、基于奇异值特征方法、子空间分析法、局部保持投影算法、主成分分析算法、神经网络算法等。

步骤S3，判断所述用户的身份信息是否具备表单的填充权限。

在识别出用户的身份信息后，判断所述用户的身份信息是否具备表单的填充权限。填充权限为是否具备填充表单的权限。在一些情况下，为了避免用户填写表单时填写错误，就规定了该表单页面只能某一用户进行填写，因此设定填充权限避免了用户填写时选错表单的情况。填充权限可以人为通过系统进行设置。

步骤S4，若所述用户的身份信息具备表单的填充权限，则将所述用户的身份信息填充到表单。

若所述用户的身份信息具备表单的填充权限，则将所述用户的身份信息填充到表单对应的身份信息的框中，以节省用户的填写时间，提升用户的填写效率，避免了用户的手动输入。

在一些实施例中，若所述用户的身份信息不具备表单的填充权限，则发出声音以提醒用户。例如发出声音“不具备权限”。

步骤S5，基于所述交互语音使用长短期神经网络模型进行语音识别输出多个表单填充词，所述长短期神经网络模型的输入包括所述交互语音、所述表单，所述长短期神经网络模型的输出为所述多个表单填充词，其中所述多个表单填充词与所述多个框一一对应。

表单填充词为填写表单时框中的填充词。其中所述多个表单填充词与所述多个框一一对应。例如，姓名框对应张三、年龄框对应24。表单填充词可以为数值、符号、中文文字、英文文字等。

长短期神经网络模型包括长短期记忆网络（LSTM，Long Short-Term Memory），长短期记忆网络是RNN(Recurrent Neural Network，循环神经网络)中的一种。

长短期神经网络模型能够处理任意长度的序列数据，捕捉序列的信息，输出基于序列中前后数据关联关系的结果。通过长短期神经网络模型处理连续时间点的交互语音，能够输出得到考虑各个时间点的交互语音之间关联关系的特征，使得该输出的特征更加的准确和全面。

长短期神经网络模型可以通过训练样本来训练得到。所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为样本交互语音、样本表单，所述标签为多个表单填充词。所述训练样本的输出标签可以通过人为标注得到。在一些实施例中，可以通过梯度下降法对初始的长短期神经网络模型进行训练得到训练后的长短期神经网络模型。具体的，根据训练样本，构建长短期神经网络模型的损失函数，通过长短期神经网络模型的损失函数调整长短期神经网络模型的参数，直到损失函数值收敛或者小于预设阈值，则训练完成。损失函数可以包括但不限于对数(log)损失函数、平方损失函数、指数损失函数、Hinge损失函数以及绝对值损失函数等。

训练完成后，输入所述交互语音、所述表单到训练完成后的长短期神经网络模型，输出得到所述表单填充词。例如，长短期神经网络模型输出的表单填充词姓名框对应张三、年龄框对应24。

步骤S6，将所述多个表单填充词填充到表单的多个框中得到填充后的表单。

将多个表单填充词填充到每个表单填充词所对应的框中得到填充后的表单。

在一些实施例中，得到填充后的表单后用户需要检察填充后的表单是否符合填充要求。例如，填充后的表单填写的“可见范围”框为全员可见。但历史中同类型任务要求只能是本部门可见。又例如，填充后的表单填写的“计划工作天数”框为30天，但历史中同类型任务要求只能是15天。又例如，填充后的表单填写的“优先级”框为紧急，但历史中同类型任务的时限要求大多都是非常紧急。因此，在得到填充后的表单后，需要寻找历史中已填写好的经过审核的较为相似的表单作为参考表单，以便减少表单的来回修改次数，提高表单的填写效率。因此，在一些实施例中，在得到填充后的表单后，将与所述填充后的表单相似度最高的参考表单推荐给用户，以便用户参考以及对填充后的表单进行修改。

参考表单表示作为方便用户参考以减少用户任务不熟悉造成的填充误差的作为参考的表单。

在一些实施例中，可以计算所述填充后的表单的SimHash值和数据库中多个历史表单的SimHash值，通过汉明距离计算出所述填充后的表单的SimHash值与所述数据库中多个历史表单的SimHash值的多个相似度，将多个历史表单中相似度最高的历史表单作为参考表单，并将所述参考表单推荐给用户。填充后的表单的SimHash值可以为先将填充后的多个表单填充词连接起来后得到的SimHash值。

计算表单的SimHash值的步骤可以包括分词、hash计算、加权、合并、降维等步骤。例如分词：首先对填充后的表单的多个表单填充词进行分词，提取特征向量。并对特征向量，进行权重(weight)设置；hash计算：通过hash函数计算各个特征向量的hash值，hash值为二进制数01组成的n-bit签名；加权：在hash值的基础上，给所有特征向量进行加权，即W＝Hash*weight，且遇到1则hash值和权值正相乘，遇到0则hash值和权值负相乘；合并：将上述各个特征向量的加权结果累加，变成一个序列串；降维：对于累加结果，如果大于0则置1，否则置0，从而得到该语句的simhash值。

步骤S7，基于图神经网络模型检测所述填充后的表单是否异常，其中所述图神经网络模型的输入为所述填充后的表单的多个节点和多条边，多个节点为填充后表单的多个框，多条边为多个节点之间的关系，所述图神经网络模型的输出为填充后的表单正常或异常。

在一些实施例中，可以使用图神经网络模型检测所述填充后的表单是否异常。表单是否异常表示填写的表单是否存在填充失误。例如，表单异常包括格式异常、内容异常、时间超限等。内容异常可以为字数超出、人数超出、时间超出、错别字、多标点符号等。

在一些实施例中，可以基于填充后的表单构建图以输入到图神经网络模型进行异常判定。图包括多个节点和多条边，多个节点为填充后表单的多个框，多条边为多个节点之间的关系。节点的特征可以为框中的字数、表单填充词、框的大小、字数的大小、字体格式、字体颜色、当前时间等。多条边可以为多个框之间的距离、方向等。

在一些实施例中，图神经网络模型可以包括图神经网络（Graph Neural Network，GNN）和全连接层。图神经网络是一种直接作用于图上的神经网络，所述图是由节点和边两部分组成的一种数据结构。图神经网络模型基于信息传播机制，每一个节点通过相互交换信息来更新自己的节点状态，直到达到某一个稳定值，图神经网络模型的输出就是在每个节点处，根据当前节点状态计算输出。

在一些实施例中，图神经网络模型可以包括多层图神经网络。多层图神经网络训练或实际应用过程中，每一层每个节点从与之连接(例如，相邻)的节点接收信息，并进行节点之间的信息融合，经过多层图神经网络之后，每一层中的节点可以与更远的节点(例如，与之不连接或相邻的节点)进行信息融合，提高了准确性。

在一些实施例中，可以基于填充后的表单构建图。图包括多个节点和多条边，多个节点为填充后表单的多个框，多条边为多个节点之间的关系。图3为本发明实施例提供的构建的图的示意图。如图3所示，构建的图包括多个节点A、B、C、D和E，以及由多个节点组成的边，其中，A、B、C、D、E可以表示框。a₁,a₂,a₃,a₄,a₅,a₆…和e₁,e₂,e₃,e₄,e₅,e₆分别代表框的节点的特征，例如节点的特征可以分别是框中的字数、表单填充词、框的大小、字数的大小、字体格式、字体颜色、当前时间。节点E和多个节点A、…和D之间的连线代表所述图的边。所述图的边为多个节点之间的关系。在一些实施例中，边可以是框之间的距离、方向。

在一些实施例中，图神经网络模型可以包括图神经网络和全连接层，图神经网络的输出可以连接到全连接层，全连接层进行输出得到填充后的表单正常或异常。

图神经网络模型可以通过训练样本训练得到。训练样本的输入包括多个节点和多条边，所述多个节点为填充后表单的多个框，所述多条边为多个节点之间的关系，训练样本的输出为填充后的表单正常或异常。在一些实施例中，可以通过梯度下降法对图神经网络模型进行训练得到训练后的图神经网络模型。具体的，根据训练样本，构建图神经网络模型的损失函数，通过图神经网络模型的损失函数调整图神经网络模型的参数，直到损失函数值收敛或者小于预设阈值，则训练完成。损失函数可以包括但不限于对数(log)损失函数、平方损失函数、指数损失函数、Hinge损失函数以及绝对值损失函数等。

训练完成后，可以将所述填充后的表单的多个节点和多条边输入到所述图神经网络模型中，输出得到填充后的表单正常或异常。

步骤S8，若填充后的表单正常，则确定填充结束，若填充后的表单异常，则提醒用户进行人工填充。

在一些实施例中，若图神经网络模型输出填充后的表单异常，则提醒用户进行人工填充。例如可以通过弹窗提醒。若图神经网络模型输出填充后的表单正常，则确定填充结束。

基于同一发明构思，图4为本发明的实施例提供的一种基于数据识别的交互式批量填充系统示意图，所述交互式批量填充系统包括：

获取模块41、获取表单对应的用户的填充交互视频，所述填充交互视频包括交互图像和交互语音，所述表单包括多个框；

识别模块42、基于所述交互图像进行人脸识别，得到所述用户的身份信息；

判断模块43、判断所述用户的身份信息是否具备表单的填充权限；

第一填充模块44、若所述用户的身份信息具备表单的填充权限，则将所述用户的身份信息填充到表单；

输出模块45、基于所述交互语音使用长短期神经网络模型进行语音识别输出多个表单填充词，所述长短期神经网络模型的输入包括所述交互语音、所述表单，所述长短期神经网络模型的输出为所述多个表单填充词，其中所述多个表单填充词与所述多个框一一对应。

第二填充模块46、将所述多个表单填充词填充到表单的多个框中得到填充后的表单；

检测模块47、基于图神经网络模型检测所述填充后的表单是否异常，其中所述图神经网络模型的输入为所述填充后的表单的多个节点和多条边，多个节点为填充后表单的多个框，多条边为多个节点之间的关系，所述图神经网络模型的输出为填充后的表单正常或异常；

提醒模块48、若填充后的表单正常，则确定填充结束，若填充后的表单异常，则提醒用户进行人工填充。

基于同一发明构思，本发明的实施例提供了一种电子设备，如图5所示，包括：

处理器51；用于存储处理器51中可执行程序指令的存储器52；其中，处理器51被配置为执行以实现如前述提供的一种基于数据识别的交互式批量填充方法的方法，所述方法包括：

S1、获取表单对应的用户的填充交互视频，所述填充交互视频包括交互图像和交互语音，所述表单包括多个框；S2、基于所述交互图像进行人脸识别，得到所述用户的身份信息；S3、判断所述用户的身份信息是否具备表单的填充权限； S4、若所述用户的身份信息具备表单的填充权限，则将所述用户的身份信息填充到表单；S5、基于所述交互语音使用长短期神经网络模型进行语音识别输出多个表单填充词，所述长短期神经网络模型的输入包括所述交互语音、所述表单，所述长短期神经网络模型的输出为所述多个表单填充词，其中所述多个表单填充词与所述多个框一一对应；S6、将所述多个表单填充词填充到表单的多个框中得到填充后的表单；S7、基于图神经网络模型检测所述填充后的表单是否异常，其中所述图神经网络模型的输入为所述填充后的表单的多个节点和多条边，多个节点为填充后表单的多个框，多条边为多个节点之间的关系，所述图神经网络模型的输出为填充后的表单正常或异常；S8、若填充后的表单正常，则确定填充结束，若填充后的表单异常，则提醒用户进行人工填充。

基于同一发明构思，本实施例提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器51执行时，使得电子设备能够执行实现如前述提供的基于数据识别的交互式批量填充方法，所述方法包括: S1、获取表单对应的用户的填充交互视频，所述填充交互视频包括交互图像和交互语音，所述表单包括多个框；S2、基于所述交互图像进行人脸识别，得到所述用户的身份信息；S3、判断所述用户的身份信息是否具备表单的填充权限； S4、若所述用户的身份信息具备表单的填充权限，则将所述用户的身份信息填充到表单；S5、基于所述交互语音使用长短期神经网络模型进行语音识别输出多个表单填充词，所述长短期神经网络模型的输入包括所述交互语音、所述表单，所述长短期神经网络模型的输出为所述多个表单填充词，其中所述多个表单填充词与所述多个框一一对应；S6、将所述多个表单填充词填充到表单的多个框中得到填充后的表单；S7、基于图神经网络模型检测所述填充后的表单是否异常，其中所述图神经网络模型的输入为所述填充后的表单的多个节点和多条边，多个节点为填充后表单的多个框，多条边为多个节点之间的关系，所述图神经网络模型的输出为填充后的表单正常或异常；S8、若填充后的表单正常，则确定填充结束，若填充后的表单异常，则提醒用户进行人工填充。

基于同一发明构思，本实施例还提供了一种计算机程序产品，所述计算机程序被处理器执行时实现如前述提供的基于数据识别的交互式批量填充方法。

本申请实施例提供的基于数据识别的交互式批量填充方法，可以应用于终端设备（比如手机）、平板电脑、笔记本电脑、超级移动个人计算机（ultra-mobile personalcomputer，UMPC）、手持计算机、上网本、个人数字助理（personal digital assistant，PDA）、可穿戴设备（如智能手表、智能眼镜或者智能头盔等）、增强现实（augmentedreality，AR）\虚拟现实（virtualreality，VR）设备、智能家居设备、车载电脑等电子设备中，本发明实施例对此不做任何限制。

以手机100为上述电子设备举例，图6示出了手机100的结构示意图。

如图6所示，手机100可以包括处理模块110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

其中，上述传感器模块180可以包括距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器等传感器。

可以理解的是，本实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理模块110可以包括一个或多个处理单元，例如：处理模块110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphicsprocessingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是手机100的神经中枢和指挥中心，是指挥手机100的各个部件按照指令协调工作的决策者。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

应用处理器上可以安装有手机100的操作系统，用于管理手机100的硬件与软件资源。比如，管理与配置内存、决定系统资源供需的优先次序、管理文件系统、管理驱动程序等。操作系统也可以用于提供一个让用户与系统交互的操作界面。其中，操作系统内可以安装各类软件，比如，驱动程序，应用程序（application，App）等。示例性的，手机100的操作系统可以是Android系统，Linux系统等。

处理模块110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理模块110中的存储器为高速缓冲存储器。该存储器可以保存处理模块110刚用过或循环使用的指令或数据。如果处理模块110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理模块110的等待时间，因而提高了系统的效率。本发明实施例中，处理模块110可以基于图神经网络模型检测所述填充后的表单是否异常。

在一些实施例中，处理模块110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integratedcircuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或通用串行总线（universal serial bus，USB）接口等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过手机100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理模块110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理模块110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理模块110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

手机100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理模块110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理模块110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理模块110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在手机100上的包括无线局域网(wirelesslocalarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理模块110。无线通信模块160还可以从处理模块110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，手机100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivisionmultiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC ，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system ，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenithsatellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

手机100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理模块110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dotlightemitting diodes，QLED)等。在一些实施例中，手机100可以包括1个或N个显示屏194，N为大于1的正整数。本发明实施例中，显示屏194可以用于显示填充交互视频、表单等。

手机100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。在一些实施例中，手机100可以通过ISP，摄像头193，视频编解码器，GPU以及应用处理器对实现视频通信功能。

ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，手机100可以包括1个或N个摄像头193，N为大于1的正整数。本发明实施例中，摄像头193可以拍摄用户动作得到填充交互视频。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当手机100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样，手机100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network ，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

本发明实施例中，NPU计算处理器可以运行长短期神经网络模型进行语音识别，并输出多个表单填充词。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理模块110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理模块110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

手机100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理模块110中，或将音频模块170的部分功能模块设置于处理模块110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。手机100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。手机100可以设置至少一个麦克风170C。在另一些实施例中，手机100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，手机100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入，产生与手机100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和手机100的接触和分离。手机100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。手机100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，手机100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在手机100中，不能和手机100分离。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (7)

1.一种基于数据识别的交互式批量填充方法，其特征在于，包括：

S1、获取表单对应的用户的填充交互视频，所述填充交互视频包括交互图像和交互语音，所述表单包括多个框；

S2、基于所述交互图像进行人脸识别，得到所述用户的身份信息；

S3、判断所述用户的身份信息是否具备表单的填充权限；

S4、若所述用户的身份信息具备表单的填充权限，则将所述用户的身份信息填充到表单；

S5、基于所述交互语音使用长短期神经网络模型进行语音识别输出多个表单填充词，所述长短期神经网络模型的输入包括所述交互语音、所述表单，所述长短期神经网络模型的输出为所述多个表单填充词，其中所述多个表单填充词与所述多个框一一对应；

S6、将所述多个表单填充词填充到表单的多个框中得到填充后的表单；

S7、基于图神经网络模型检测所述填充后的表单是否异常，其中所述图神经网络模型的输入为所述填充后的表单的多个节点和多条边，多个节点为填充后表单的多个框，多条边为多个节点之间的关系，所述节点的节点特征为框中的字数、表单填充词、框的大小、字数的大小、字体格式、字体颜色、当前时间，所述边为框之间的距离、方向，所述图神经网络模型的输出为填充后的表单正常或异常；

S8、若填充后的表单正常，则确定填充结束，若填充后的表单异常，则提醒用户进行人工填充；

所述方法还包括：将与所述填充后的表单相似度最高的参考表单推荐给用户，所述将与所述填充后的表单相似度最高的参考表单推荐给用户，包括：计算所述填充后的表单的SimHash值和数据库中多个历史表单的SimHash值，通过汉明距离计算出所述填充后的表单的SimHash值与所述数据库中多个历史表单的SimHash值的多个相似度，将多个历史表单中相似度最高的历史表单作为参考表单，并将所述参考表单推荐给用户。

2.如权利要求1所述的基于数据识别的交互式批量填充方法，其特征在于，还包括：若所述用户的身份信息不具备表单的填充权限，则发出声音以提醒用户。

3.如权利要求1所述的基于数据识别的交互式批量填充方法，其特征在于，所述长短期神经网络模型经过梯度下降法训练得到。

4.如权利要求1所述的基于数据识别的交互式批量填充方法，所述长短期神经网络模型通过训练过程获取，所述训练过程包括：

获取多个训练样本，所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为样本交互语音、样本表单，所述标签为多个表单填充词；

基于所述多个训练样本训练初始的长短期神经网络模型，得到所述长短期神经网络模型。

5.一种基于数据识别的交互式批量填充系统，其特征在于，包括：

获取模块，用于获取表单对应的用户的填充交互视频，所述填充交互视频包括交互图像和交互语音，所述表单包括多个框；

识别模块，用于基于所述交互图像进行人脸识别，得到所述用户的身份信息；

判断模块，用于判断所述用户的身份信息是否具备表单的填充权限；

第一填充模块，用于若所述用户的身份信息具备表单的填充权限，则将所述用户的身份信息填充到表单；

输出模块，用于基于所述交互语音使用长短期神经网络模型进行语音识别输出多个表单填充词，所述长短期神经网络模型的输入包括所述交互语音、所述表单，所述长短期神经网络模型的输出为所述多个表单填充词，其中所述多个表单填充词与所述多个框一一对应；

第二填充模块，用于将所述多个表单填充词填充到表单的多个框中得到填充后的表单；

检测模块，用于基于图神经网络模型检测所述填充后的表单是否异常，其中所述图神经网络模型的输入为所述填充后的表单的多个节点和多条边，多个节点为填充后表单的多个框，多条边为多个节点之间的关系，所述节点的节点特征为框中的字数、表单填充词、框的大小、字数的大小、字体格式、字体颜色、当前时间，所述边为框之间的距离、方向，所述图神经网络模型的输出为填充后的表单正常或异常；

提醒模块，用于若填充后的表单正常，则确定填充结束，若填充后的表单异常，则提醒用户进行人工填充；

所述数据识别的交互式批量填充系统还用于：将与所述填充后的表单相似度最高的参考表单推荐给用户，所述将与所述填充后的表单相似度最高的参考表单推荐给用户，包括：计算所述填充后的表单的SimHash值和数据库中多个历史表单的SimHash值，通过汉明距离计算出所述填充后的表单的SimHash值与所述数据库中多个历史表单的SimHash值的多个相似度，将多个历史表单中相似度最高的历史表单作为参考表单，并将所述参考表单推荐给用户。

6.一种电子设备，其特征在于，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1至4任一项所述的基于数据识别的交互式批量填充方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的基于数据识别的交互式批量填充方法对应的步骤。

Images