CN113033536A

CN113033536A - 工作笔记生成方法及装置

Info

Publication number: CN113033536A
Application number: CN202110290101.7A
Authority: CN
Inventors: 张锴; 李青; 陈承启; 黄平
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2021-03-18
Filing date: 2021-03-18
Publication date: 2021-06-25

Abstract

一种工作笔记生成方法及装置，可用于金融领域或其他领域。所述方法包括：采集智能终端的多条操作信息及各操作信息对应的操作时间；操作信息包括截屏图像信息、文字处理信息及视频播放信息；对截屏图像信息及视频播放信息进行解析识别，得到分别对应于截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息；根据文字处理信息、文字型图像信息及文字型视频信息，文字处理信息、文字型图像信息及文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。本发明通过对智能终端操作行为进行识别和归类，准确记录各类事项，对各类事项进行整合，生成有价值的工作笔记，减少人力成本，时间统计准确，从而帮助个人和团队总结资产。

Description

工作笔记生成方法及装置

技术领域

本发明涉及信息处理技术领域，尤指一种工作笔记生成方法及装置。

背景技术

目前，企业员工每天记录工作事项，总结工作内容，短期便于了解自己的工作状况，长期能形成工作资产。但很少有人能坚持记录工作笔记，主要原因有：1、日常工作已经很繁忙，记录工作笔记需要投入额外时间，有些细节事后很难回忆；2、有些工作事项时间跨度较大，简单的流水账笔记并不能反映事项的完整情况，需要整合多天的记录；3、传统笔记个性化较强，比较随意，不利于与团队其他人分享，记录后不会再看，整体价值低。如今几乎所有人的工作都是在智能终端上进行，例如电脑，很多有价值的资产隐藏在电脑操作行为记录中。智能终端操作行为是指人与智能终端之间的交互行为，包括键盘鼠标事件、浏览网页、发送邮件、文件编辑、文件传输、文件打印、复制粘贴等。记录个人的智能终端操作行为记录，并挖掘其中的价值，自动生产属于个人的工作笔记并总结资产，已经成为现代工作人员的迫切需要。

因此，如何智能的识别和归类智能终端操作行为，利用人工智能技术自动生成工作笔记，是目前亟待解决的技术难题。

发明内容

针对现有技术中存在的问题，本发明实施例的主要目的在于提供一种工作笔记生成方法及装置，实现对智能终端操作行为进行识别和归类，自动生成有价值的工作笔记，从而帮助个人和团队轻松总结资产。

为了实现上述目的，本发明实施例提供一种工作笔记生成方法，所述方法包括：

采集智能终端的多条操作信息及各操作信息对应的操作时间；其中，所述操作信息包括截屏图像信息、文字处理信息及视频播放信息；

对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息；

根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。

可选的，在本发明一实施例中，所述文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。

可选的，在本发明一实施例中，所述对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息包括：

对所述截屏图像信息进行图像识别，得到所述截屏图像信息对应的文字型图像信息；

对所述视频播放信息进行语音识别，得到所述视频播放信息对应的文字型视频信息。

可选的，在本发明一实施例中，所述根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记包括：

将所述文字处理信息、文字型图像信息及文字型视频信息输入至预先建立的识别模型中，确定所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签；

根据所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签及操作时间，生成工作笔记。

可选的，在本发明一实施例中，所述识别模型是通过如下方式预先建立的：

获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理；

将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。

本发明实施例还提供一种工作笔记生成装置，所述装置包括：

信息采集模块，用于采集智能终端的多条操作信息及各操作信息对应的操作时间；其中，所述操作信息包括截屏图像信息、文字处理信息及视频播放信息；

信息识别模块，用于对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息；

笔记生成模块，用于根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。

可选的，在本发明一实施例中，所述信息识别模块包括：

图像识别单元，用于对所述截屏图像信息进行图像识别，得到所述截屏图像信息对应的文字型图像信息；

语音识别单元，用于对所述视频播放信息进行语音识别，得到所述视频播放信息对应的文字型视频信息。

可选的，在本发明一实施例中，所述笔记生成模块包括：

标签生成单元，用于将所述文字处理信息、文字型图像信息及文字型视频信息输入至预先建立的识别模型中，确定所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签；

笔记生成单元，用于根据所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签及操作时间，生成工作笔记。

可选的，在本发明一实施例中，所述装置还包括模型建立模块，用于获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理；将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明通过对智能终端操作行为进行识别和归类，准确地记录各类事项，并对各类事项进行整合，自动生成有价值的工作笔记，减少人力成本，时间统计准确，从而帮助个人和团队轻松总结资产。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种工作笔记生成方法的流程图；

图2为本发明实施例中信息识别的流程图；

图3为本发明实施例中工作笔记生成的流程图；

图4为本发明实施例中建立识别模型的流程图；

图5为本发明实施例中应用工作笔记生成方法的系统的结构示意图；

图6为本发明实施例中应用工作笔记生成方法的系统的工作流程图；

图7为本发明实施例一种工作笔记生成装置的结构示意图；

图8为本发明实施例中信息识别模块的结构示意图；

图9为本发明实施例中笔记生成模块的结构示意图；

图10为本发明一具体实施例中工作笔记生成装置的结构示意图；

图11为本发明一实施例所提供的电子设备的结构示意图。

具体实施方式

本发明实施例提供一种工作笔记生成方法及装置，可用于金融领域或其他领域，需要说明的是，本发明的工作笔记生成方法及装置可用于金融领域，也可用于除金融领域之外的任意领域，本发明的工作笔记生成方法及装置应用领域不做限定。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明实施例一种工作笔记生成方法的流程图，本发明实施例提供的工作笔记生成方法的执行主体包括但不限于计算机。图中所示方法包括：

步骤S1，采集智能终端的多条操作信息及各操作信息对应的操作时间；其中，所述操作信息包括截屏图像信息、文字处理信息及视频播放信息。

其中，智能终端可以为电脑，采集智能终端的多条操作信息及对应的操作时间。操作信息为智能终端的操作行为记录，具体包括截屏图像信息、文字处理信息及视频播放信息。具体的，截屏图像信息可以通过定时截屏的方式采集，文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。视频播放信息可以在智能终端播放视频时，进行录屏，由此采集得到视频播放信息。此外，采集每条操作信息时，同时采集操作信息对应的操作时间。操作时间可以为时刻，也可以时间段，例如采集截屏图像信息时的截屏操作时间，或视频播放时间对应的播放时间段。

进一步的，可以通过以下几种方式获取操作信息。

1、(键盘等)录入文字时，获取用户录入信息；

2、(鼠标等)点击文件时，获取文件名字信息，即采集文件处理信息。可以借助于现有工具gtName.exe，鼠标单击文件时，获取文件名到剪贴板；

3、复制粘贴时，获取剪贴板中的文字或者文件内容，即采集文字复制信息。可以利用现有python工具win32clipboard，每隔预设时间，例如0.2秒，读取剪贴板文本并保存，比较剪贴板内容与上一次内容，如有变动则保存；

4、浏览网页时，使用网络爬虫获取网页浏览的内容，即采集页面浏览信息。比如使用现有工具Diffbot网络爬虫，每次输入新的网址或者点击一个网络连接，自动获取IE地址栏的网址，并自动将网址传入Diffbot爬虫工具，即可获取当前网页的文字内容并保存。

5、文件处理时(文件保存、文件传输或者文件打印)，获取文件内容，即采集文件处理信息；

6、定时截屏保存图像，即采集截屏图像信息，并同时保存以上事件的时间和相关软件。可以通过现有的windows函数GetForegroundWindow获取当前用户正在操作的窗口，可获得该智能终端当前所使用的软件。

具体的，采集并统计的智能终端操作行为记录如表1所示。其中，操作时间包括操作行为的起始时间点、耗时和/或结束时间点。

表1

步骤S2，对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息。

其中，对于截屏图像信息进行OCR识别，OCR(optical character recognition)文字识别采用tesseract-OCR引擎，用于识别得出智能终端截屏图像信息的文本信息，得到截屏图像信息对应的文字型图像信息。此外，对视频播放信息进行语音识别，得到视频播放信息对应的文字型视频信息。将得到的文字型信息汇总及保存到本地记录中，形成完整的文字型操作信息记录，用于后续的操作行为识别和归类。

具体的，识别截屏图像信息得到的文字型图像信息如表2所示。

表2

步骤S3，根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。

其中，识别模型可以利用NLP自然语言处理技术进行预先建立。将文字处理信息、文字型图像信息及文字型视频信息输入至识别模型，输出为各信息对应的标签。实现对文字处理信息、文字型图像信息及文字型视频信息进行打标签处理。具体的，标签包括会议、培训、邮件等。由此实现利用识别模型对各条操作信息进行打标签，以确定各条操作信息属于哪种操作类型。具体的，标签存储于预设的标签专家库中，如表3所示为预设的标签专家库。

表3

标签专家库
	会议
培训
	文档编辑
编程
	邮件
......

进一步的，对各条操作信息的标签及对应的操作时间进行整合，生成工作笔记。具体的，工作笔记中各条操作信息可以根据预设排序、操作时间比重或标签进行排序。工作笔记可以如表4所示，其中，事项状态可由用户自行填写。

表4

作为本发明的一个实施例，所述文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。

其中，用户录入信息可以通过(键盘等)录入文字时来获取，页面浏览信息可以通过浏览网页时，使用网络爬虫获取网页浏览的内容来获取。此外，可以通过复制粘贴时，获取剪贴板中的文字或者文件内容来获取文字复制信息，以及通过文件处理时(文件保存、文件传输或者文件打印)获取文件内容来获取文件处理信息。

作为本发明的一个实施例，如图2所示，对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息包括：

步骤S21，对所述截屏图像信息进行图像识别，得到所述截屏图像信息对应的文字型图像信息。

步骤S22，对所述视频播放信息进行语音识别，得到所述视频播放信息对应的文字型视频信息。

作为本发明的一个实施例，如图3所示，根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记包括：

步骤S31，将所述文字处理信息、文字型图像信息及文字型视频信息输入至预先建立的识别模型中，确定所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签。

其中，识别模型可以利用NLP自然语言处理技术进行预先建立。将文字处理信息、文字型图像信息及文字型视频信息输入至识别模型，输出为各信息对应的标签。实现对文字处理信息、文字型图像信息及文字型视频信息进行打标签处理。具体的，标签包括会议、培训、邮件等。由此实现利用识别模型对各条操作信息进行打标签，以确定各条操作信息属于哪种操作类型。

步骤S32，根据所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签及操作时间，生成工作笔记。

其中，对各条操作信息的标签及对应的操作时间进行整合，生成工作笔记。具体的，工作笔记中各条操作信息可以根据预设排序、操作时间比重或标签进行排序。

作为本发明的一个实施例，如图4所示，识别模型是通过如下方式预先建立的：

步骤S41，获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理。

其中，从智能终端本地或数据库获取智能终端的文字型操作行为记录数据，即获取多条文字型历史操作信息、对应的历史操作时间及对应的标签。此外，还可以在获取文字型历史操作信息后，对文字型历史操作信息进行人工打标签处理，由此得到文字型历史操作信息对应的标签。将多条文字型历史操作信息、对应的历史操作时间及对应的标签作为训练样本数据。

进一步的，对文字型历史操作信息数据预处理，具体的，修正样本训练数据，提取样本数据特征值，做特征降维、特征空值处理、目标值转换处理。

步骤S42，将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。

其中，利用自然语言处理技术做语义分析模型，具体的，FastText模型。其中，FastText是现有的主流的自然语言处理训练模型。具体的，模型训练过程包括将训练样本数据输入初始FastText模型，根据训练的结果，输出各条文字型历史操作信息所属不同标签的概率，由此完成识别模型的预先建立。

在本发明一具体实施例中，如图5所示为本发明实施例中应用工作笔记生成方法的系统的结构示意图，系统的工作流程图如图6所示，具体包括：

步骤1，系统在后台收集智能终端操作行为，主要包括文字记录，屏幕截图等，同时记录事件时间和当时所使用的软件。

步骤2，系统使用OCR图像识别技术，将屏幕截图影像转换为文字型内容。

步骤3，系统通过NLP自然语言处理技术，将文字型操作记录，通过模型训练后，根据模型识别结果总结出工作事项要素信息。

步骤4，系统挑选出每天优先级排名靠前的事项，并结合历史事项，生成工作笔记。

步骤5，用户对生成好的工作笔记进行评估打分，供模型训练迭代调优使用。

在本实施例中，如图5所示的系统具体包括：智能终端操作行为记录模块1、截图影像处理模块2、操作行为识别归类模块3、工作笔记生成模块4。该系统位于用户智能终端与团队资产存储库之间，在不需要人工参与的前提下，通过OCR图像识别、NLP自然语言处理等技术，分析处理智能终端操作记录，继而实现自动生成工作笔记的目的。

操作行为记录模块1：用于记录用户的智能终端操作行为，可以通过以下几种方式获取智能终端操作行为：

(键盘等)录入文字时，获取用户录入信息；(鼠标等)点击文件时，获取文件名字信息，即采集文件处理信息。可以借助于现有工具gtName.exe，鼠标单击文件时，获取文件名到剪贴板；复制粘贴时，获取剪贴板中的文字或者文件内容，即采集文字复制信息。可以利用现有python工具win32clipboard，每隔预设时间，例如0.2秒，读取剪贴板文本并保存，比较剪贴板内容与上一次内容，如有变动则保存；浏览网页时，使用网络爬虫获取网页浏览的内容，即采集页面浏览信息。比如使用现有工具Diffbot网络爬虫，每次输入新的网址或者点击一个网络连接，自动获取IE地址栏的网址，并自动将网址传入Diffbot爬虫工具，即可获取当前网页的文字内容并保存。文件处理时(文件保存、文件传输或者文件打印)，获取文件内容，即采集文件处理信息；定时截屏保存图像，即采集截屏图像信息，并同时保存以上事件的时间和相关软件。可以通过现有的windows函数GetForegroundWindow获取当前用户正在操作的窗口，可获得该智能终端当前所使用的软件。

截图影像处理模块2：对于智能终端截图影像OCR识别，OCR文字识别模块采用tesseract-OCR引擎，用于识别截图影像的文本信息，汇总到操作行为记录模块1的保存记录中，形成完整的文字型操作行为记录，用于后续的智能终端操作行为识别和归类。

操作行为识别归类模块3：对于文字型操作行为记录，主要是通过NLP自然语言处理技术，通过模型训练后，根据模型识别结果获取识别后的操作信息信息。将文字型操作行为记录作为模型训练样本数据，具体包括如下步骤：

(a)样本数据：将文字型操作行为记录数据提取出来；

(b)数据预处理：处理和修正样本数据，提取样本数据特征值，做特征降维、特征空值处理、目标值转换处理。同时对样本数据做打标签处理。例如：1月29日在第二会议室参加分布式技术培训，拆分为时间1月29日，地点第二会议室，事项参加分布式技术培训；将事项内容与标签专家库做匹配，标签是“事项类型：培训，其他关键字：分布式技术”；

(c)模型选择与训练：模型训练，本发明使用自然语言处理技术做语义分析。FastText是现有主流的自然语言处理训练模型，因此，选择使用FastText模型。将一条训练样本数据输入FastText模型，根据训练的结果，输出这个训练样本数据所属不同标签的概率。

(d)模型评估：使用训练好的模型对验证集或者测试集上的样本进行预测，判断训练出来的模型是否满足要求，若不满足再进行迭代调优。

生成工作笔记模块4：对于经过自然语言处理的事项内容，相同事项合并描述，并统计相同事项出现的频率和时间跨度，如果频率高且时间跨度大，则置为优先事项。系统挑选出预设个数优先级的事项，例如TOP10，按固定格式的模板生成工作笔记，汇总到团队资产存储库。

由于企业员工日常工作繁忙，难以及时、轻松的记录工作笔记，本发明基于电脑操作记录，通过OCR图像识别、NLP自然语言处理技术，自动生产工作笔记，总结资产。其优点如下：用户无需人工操作就能得到一份工作笔记，减少人力成本，提高资产积累。操作记录比较完整，重要事项不会遗漏，时间统计准确。笔记格式标准，利于团队整合和分享。

如图7所示为本发明实施例一种工作笔记生成装置的结构示意图，图中所示装置包括：

信息采集模块10，用于采集智能终端的多条操作信息及各操作信息对应的操作时间；其中，所述操作信息包括截屏图像信息、文字处理信息及视频播放信息。

信息识别模块20，用于对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息。

笔记生成模块30，用于根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。

进一步的，对各条操作信息的标签及对应的操作时间进行整合，生成工作笔记。具体的，工作笔记中各条操作信息可以根据预设排序、操作时间比重或标签进行排序。

作为本发明的一个实施例，文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。

作为本发明的一个实施例，如图8所示，信息识别模块包括：

图像识别单元21，用于对所述截屏图像信息进行图像识别，得到所述截屏图像信息对应的文字型图像信息；

语音识别单元22，用于对所述视频播放信息进行语音识别，得到所述视频播放信息对应的文字型视频信息。

作为本发明的一个实施例，如图9所示，笔记生成模块包括：

标签生成单元31，用于将所述文字处理信息、文字型图像信息及文字型视频信息输入至预先建立的识别模型中，确定所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签；

笔记生成单元32，用于根据所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签及操作时间，生成工作笔记。

作为本发明的一个实施例，如图10所示，装置还包括模型建立模块40，用于获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理；将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。

基于与上述一种工作笔记生成方法相同的申请构思，本发明还提供了上述一种工作笔记生成装置。由于该一种工作笔记生成装置解决问题的原理与一种工作笔记生成方法相似，因此该一种工作笔记生成装置的实施可以参见一种工作笔记生成方法的实施，重复之处不再赘述。

如图11所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图11中所示的所有部件；此外，电子设备600还可以包括图11中没有示出的部件，可以参考现有技术。

如图11所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。

其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。

输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。

存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种工作笔记生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。

3.根据权利要求1所述的方法，其特征在于，所述对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记包括：

5.根据权利要求1所述的方法，其特征在于，所述识别模型是通过如下方式预先建立的：

6.一种工作笔记生成装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。

8.根据权利要求6所述的装置，其特征在于，所述信息识别模块包括：

9.根据权利要求6所述的装置，其特征在于，所述笔记生成模块包括：

10.根据权利要求6所述的装置，其特征在于，所述装置还包括模型建立模块，用于获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理；将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一项所述方法的计算机程序。