CN113033536A - 工作笔记生成方法及装置 - Google Patents
工作笔记生成方法及装置 Download PDFInfo
- Publication number
- CN113033536A CN113033536A CN202110290101.7A CN202110290101A CN113033536A CN 113033536 A CN113033536 A CN 113033536A CN 202110290101 A CN202110290101 A CN 202110290101A CN 113033536 A CN113033536 A CN 113033536A
- Authority
- CN
- China
- Prior art keywords
- information
- character type
- image information
- character
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims description 35
- 238000003058 natural language processing Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000006399 behavior Effects 0.000 abstract description 31
- 238000012015 optical character recognition Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 238000007639 printing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000872 buffer Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Character Discrimination (AREA)
Abstract
一种工作笔记生成方法及装置，可用于金融领域或其他领域。所述方法包括：采集智能终端的多条操作信息及各操作信息对应的操作时间；操作信息包括截屏图像信息、文字处理信息及视频播放信息；对截屏图像信息及视频播放信息进行解析识别，得到分别对应于截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息；根据文字处理信息、文字型图像信息及文字型视频信息，文字处理信息、文字型图像信息及文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。本发明通过对智能终端操作行为进行识别和归类，准确记录各类事项，对各类事项进行整合，生成有价值的工作笔记，减少人力成本，时间统计准确，从而帮助个人和团队总结资产。
Description
技术领域
本发明涉及信息处理技术领域，尤指一种工作笔记生成方法及装置。
背景技术
目前，企业员工每天记录工作事项，总结工作内容，短期便于了解自己的工作状况，长期能形成工作资产。但很少有人能坚持记录工作笔记，主要原因有：1、日常工作已经很繁忙，记录工作笔记需要投入额外时间，有些细节事后很难回忆；2、有些工作事项时间跨度较大，简单的流水账笔记并不能反映事项的完整情况，需要整合多天的记录；3、传统笔记个性化较强，比较随意，不利于与团队其他人分享，记录后不会再看，整体价值低。如今几乎所有人的工作都是在智能终端上进行，例如电脑，很多有价值的资产隐藏在电脑操作行为记录中。智能终端操作行为是指人与智能终端之间的交互行为，包括键盘鼠标事件、浏览网页、发送邮件、文件编辑、文件传输、文件打印、复制粘贴等。记录个人的智能终端操作行为记录，并挖掘其中的价值，自动生产属于个人的工作笔记并总结资产，已经成为现代工作人员的迫切需要。
因此，如何智能的识别和归类智能终端操作行为，利用人工智能技术自动生成工作笔记，是目前亟待解决的技术难题。
发明内容
针对现有技术中存在的问题，本发明实施例的主要目的在于提供一种工作笔记生成方法及装置，实现对智能终端操作行为进行识别和归类，自动生成有价值的工作笔记，从而帮助个人和团队轻松总结资产。
为了实现上述目的，本发明实施例提供一种工作笔记生成方法，所述方法包括：
采集智能终端的多条操作信息及各操作信息对应的操作时间；其中，所述操作信息包括截屏图像信息、文字处理信息及视频播放信息；
对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息；
根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。
可选的，在本发明一实施例中，所述文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。
可选的，在本发明一实施例中，所述对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息包括：
对所述截屏图像信息进行图像识别，得到所述截屏图像信息对应的文字型图像信息；
对所述视频播放信息进行语音识别，得到所述视频播放信息对应的文字型视频信息。
可选的，在本发明一实施例中，所述根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记包括：
将所述文字处理信息、文字型图像信息及文字型视频信息输入至预先建立的识别模型中，确定所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签；
根据所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签及操作时间，生成工作笔记。
可选的，在本发明一实施例中，所述识别模型是通过如下方式预先建立的：
获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理；
将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。
本发明实施例还提供一种工作笔记生成装置，所述装置包括：
信息采集模块，用于采集智能终端的多条操作信息及各操作信息对应的操作时间；其中，所述操作信息包括截屏图像信息、文字处理信息及视频播放信息；
信息识别模块，用于对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息；
笔记生成模块，用于根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。
可选的，在本发明一实施例中，所述文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。
可选的，在本发明一实施例中，所述信息识别模块包括：
图像识别单元，用于对所述截屏图像信息进行图像识别，得到所述截屏图像信息对应的文字型图像信息；
语音识别单元，用于对所述视频播放信息进行语音识别，得到所述视频播放信息对应的文字型视频信息。
可选的，在本发明一实施例中，所述笔记生成模块包括：
标签生成单元，用于将所述文字处理信息、文字型图像信息及文字型视频信息输入至预先建立的识别模型中，确定所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签；
笔记生成单元，用于根据所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签及操作时间，生成工作笔记。
可选的，在本发明一实施例中，所述装置还包括模型建立模块，用于获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理；将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明通过对智能终端操作行为进行识别和归类，准确地记录各类事项，并对各类事项进行整合，自动生成有价值的工作笔记，减少人力成本，时间统计准确，从而帮助个人和团队轻松总结资产。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种工作笔记生成方法的流程图；
图2为本发明实施例中信息识别的流程图；
图3为本发明实施例中工作笔记生成的流程图；
图4为本发明实施例中建立识别模型的流程图；
图5为本发明实施例中应用工作笔记生成方法的系统的结构示意图；
图6为本发明实施例中应用工作笔记生成方法的系统的工作流程图；
图7为本发明实施例一种工作笔记生成装置的结构示意图；
图8为本发明实施例中信息识别模块的结构示意图；
图9为本发明实施例中笔记生成模块的结构示意图；
图10为本发明一具体实施例中工作笔记生成装置的结构示意图；
图11为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
本发明实施例提供一种工作笔记生成方法及装置，可用于金融领域或其他领域，需要说明的是，本发明的工作笔记生成方法及装置可用于金融领域，也可用于除金融领域之外的任意领域，本发明的工作笔记生成方法及装置应用领域不做限定。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示为本发明实施例一种工作笔记生成方法的流程图，本发明实施例提供的工作笔记生成方法的执行主体包括但不限于计算机。图中所示方法包括：
步骤S1，采集智能终端的多条操作信息及各操作信息对应的操作时间；其中，所述操作信息包括截屏图像信息、文字处理信息及视频播放信息。
其中，智能终端可以为电脑，采集智能终端的多条操作信息及对应的操作时间。操作信息为智能终端的操作行为记录，具体包括截屏图像信息、文字处理信息及视频播放信息。具体的，截屏图像信息可以通过定时截屏的方式采集，文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。视频播放信息可以在智能终端播放视频时，进行录屏，由此采集得到视频播放信息。此外，采集每条操作信息时，同时采集操作信息对应的操作时间。操作时间可以为时刻，也可以时间段，例如采集截屏图像信息时的截屏操作时间，或视频播放时间对应的播放时间段。
进一步的，可以通过以下几种方式获取操作信息。
1、(键盘等)录入文字时，获取用户录入信息；
2、(鼠标等)点击文件时，获取文件名字信息，即采集文件处理信息。可以借助于现有工具gtName.exe，鼠标单击文件时，获取文件名到剪贴板；
3、复制粘贴时，获取剪贴板中的文字或者文件内容，即采集文字复制信息。可以利用现有python工具win32clipboard，每隔预设时间，例如0.2秒，读取剪贴板文本并保存，比较剪贴板内容与上一次内容，如有变动则保存；
4、浏览网页时，使用网络爬虫获取网页浏览的内容，即采集页面浏览信息。比如使用现有工具Diffbot网络爬虫，每次输入新的网址或者点击一个网络连接，自动获取IE地址栏的网址，并自动将网址传入Diffbot爬虫工具，即可获取当前网页的文字内容并保存。
5、文件处理时(文件保存、文件传输或者文件打印)，获取文件内容，即采集文件处理信息；
6、定时截屏保存图像，即采集截屏图像信息，并同时保存以上事件的时间和相关软件。可以通过现有的windows函数GetForegroundWindow获取当前用户正在操作的窗口，可获得该智能终端当前所使用的软件。
具体的，采集并统计的智能终端操作行为记录如表1所示。其中，操作时间包括操作行为的起始时间点、耗时和/或结束时间点。
表1
步骤S2，对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息。
其中，对于截屏图像信息进行OCR识别，OCR(optical character recognition)文字识别采用tesseract-OCR引擎，用于识别得出智能终端截屏图像信息的文本信息，得到截屏图像信息对应的文字型图像信息。此外，对视频播放信息进行语音识别，得到视频播放信息对应的文字型视频信息。将得到的文字型信息汇总及保存到本地记录中，形成完整的文字型操作信息记录，用于后续的操作行为识别和归类。
具体的，识别截屏图像信息得到的文字型图像信息如表2所示。
表2
步骤S3，根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。
其中，识别模型可以利用NLP自然语言处理技术进行预先建立。将文字处理信息、文字型图像信息及文字型视频信息输入至识别模型，输出为各信息对应的标签。实现对文字处理信息、文字型图像信息及文字型视频信息进行打标签处理。具体的，标签包括会议、培训、邮件等。由此实现利用识别模型对各条操作信息进行打标签，以确定各条操作信息属于哪种操作类型。具体的，标签存储于预设的标签专家库中，如表3所示为预设的标签专家库。
表3
| 标签专家库 |
| 会议 |
| 培训 |
| 文档编辑 |
| 编程 |
| 邮件 |
| ...... |
进一步的，对各条操作信息的标签及对应的操作时间进行整合，生成工作笔记。具体的，工作笔记中各条操作信息可以根据预设排序、操作时间比重或标签进行排序。工作笔记可以如表4所示，其中，事项状态可由用户自行填写。
表4
作为本发明的一个实施例，所述文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。
其中，用户录入信息可以通过(键盘等)录入文字时来获取，页面浏览信息可以通过浏览网页时，使用网络爬虫获取网页浏览的内容来获取。此外，可以通过复制粘贴时，获取剪贴板中的文字或者文件内容来获取文字复制信息，以及通过文件处理时(文件保存、文件传输或者文件打印)获取文件内容来获取文件处理信息。
作为本发明的一个实施例，如图2所示，对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息包括：
步骤S21，对所述截屏图像信息进行图像识别，得到所述截屏图像信息对应的文字型图像信息。
步骤S22，对所述视频播放信息进行语音识别，得到所述视频播放信息对应的文字型视频信息。
其中，对于截屏图像信息进行OCR识别，OCR(optical character recognition)文字识别采用tesseract-OCR引擎，用于识别得出智能终端截屏图像信息的文本信息，得到截屏图像信息对应的文字型图像信息。此外，对视频播放信息进行语音识别，得到视频播放信息对应的文字型视频信息。将得到的文字型信息汇总及保存到本地记录中，形成完整的文字型操作信息记录，用于后续的操作行为识别和归类。
作为本发明的一个实施例，如图3所示，根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记包括：
步骤S31，将所述文字处理信息、文字型图像信息及文字型视频信息输入至预先建立的识别模型中，确定所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签。
其中，识别模型可以利用NLP自然语言处理技术进行预先建立。将文字处理信息、文字型图像信息及文字型视频信息输入至识别模型，输出为各信息对应的标签。实现对文字处理信息、文字型图像信息及文字型视频信息进行打标签处理。具体的，标签包括会议、培训、邮件等。由此实现利用识别模型对各条操作信息进行打标签，以确定各条操作信息属于哪种操作类型。
步骤S32，根据所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签及操作时间，生成工作笔记。
其中，对各条操作信息的标签及对应的操作时间进行整合，生成工作笔记。具体的，工作笔记中各条操作信息可以根据预设排序、操作时间比重或标签进行排序。
作为本发明的一个实施例，如图4所示，识别模型是通过如下方式预先建立的：
步骤S41，获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理。
其中，从智能终端本地或数据库获取智能终端的文字型操作行为记录数据，即获取多条文字型历史操作信息、对应的历史操作时间及对应的标签。此外，还可以在获取文字型历史操作信息后，对文字型历史操作信息进行人工打标签处理，由此得到文字型历史操作信息对应的标签。将多条文字型历史操作信息、对应的历史操作时间及对应的标签作为训练样本数据。
进一步的，对文字型历史操作信息数据预处理，具体的，修正样本训练数据，提取样本数据特征值，做特征降维、特征空值处理、目标值转换处理。
步骤S42，将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。
其中，利用自然语言处理技术做语义分析模型，具体的，FastText模型。其中，FastText是现有的主流的自然语言处理训练模型。具体的，模型训练过程包括将训练样本数据输入初始FastText模型，根据训练的结果，输出各条文字型历史操作信息所属不同标签的概率，由此完成识别模型的预先建立。
在本发明一具体实施例中，如图5所示为本发明实施例中应用工作笔记生成方法的系统的结构示意图，系统的工作流程图如图6所示，具体包括：
步骤1，系统在后台收集智能终端操作行为，主要包括文字记录，屏幕截图等，同时记录事件时间和当时所使用的软件。
步骤2，系统使用OCR图像识别技术，将屏幕截图影像转换为文字型内容。
步骤3，系统通过NLP自然语言处理技术，将文字型操作记录，通过模型训练后，根据模型识别结果总结出工作事项要素信息。
步骤4，系统挑选出每天优先级排名靠前的事项，并结合历史事项，生成工作笔记。
步骤5，用户对生成好的工作笔记进行评估打分，供模型训练迭代调优使用。
在本实施例中，如图5所示的系统具体包括：智能终端操作行为记录模块1、截图影像处理模块2、操作行为识别归类模块3、工作笔记生成模块4。该系统位于用户智能终端与团队资产存储库之间，在不需要人工参与的前提下，通过OCR图像识别、NLP自然语言处理等技术，分析处理智能终端操作记录，继而实现自动生成工作笔记的目的。
操作行为记录模块1：用于记录用户的智能终端操作行为，可以通过以下几种方式获取智能终端操作行为：
(键盘等)录入文字时，获取用户录入信息；(鼠标等)点击文件时，获取文件名字信息，即采集文件处理信息。可以借助于现有工具gtName.exe，鼠标单击文件时，获取文件名到剪贴板；复制粘贴时，获取剪贴板中的文字或者文件内容，即采集文字复制信息。可以利用现有python工具win32clipboard，每隔预设时间，例如0.2秒，读取剪贴板文本并保存，比较剪贴板内容与上一次内容，如有变动则保存；浏览网页时，使用网络爬虫获取网页浏览的内容，即采集页面浏览信息。比如使用现有工具Diffbot网络爬虫，每次输入新的网址或者点击一个网络连接，自动获取IE地址栏的网址，并自动将网址传入Diffbot爬虫工具，即可获取当前网页的文字内容并保存。文件处理时(文件保存、文件传输或者文件打印)，获取文件内容，即采集文件处理信息；定时截屏保存图像，即采集截屏图像信息，并同时保存以上事件的时间和相关软件。可以通过现有的windows函数GetForegroundWindow获取当前用户正在操作的窗口，可获得该智能终端当前所使用的软件。
截图影像处理模块2：对于智能终端截图影像OCR识别，OCR文字识别模块采用tesseract-OCR引擎，用于识别截图影像的文本信息，汇总到操作行为记录模块1的保存记录中，形成完整的文字型操作行为记录，用于后续的智能终端操作行为识别和归类。
操作行为识别归类模块3：对于文字型操作行为记录，主要是通过NLP自然语言处理技术，通过模型训练后，根据模型识别结果获取识别后的操作信息信息。将文字型操作行为记录作为模型训练样本数据，具体包括如下步骤：
(a)样本数据：将文字型操作行为记录数据提取出来；
(b)数据预处理：处理和修正样本数据，提取样本数据特征值，做特征降维、特征空值处理、目标值转换处理。同时对样本数据做打标签处理。例如：1月29日在第二会议室参加分布式技术培训，拆分为时间1月29日，地点第二会议室，事项参加分布式技术培训；将事项内容与标签专家库做匹配，标签是“事项类型：培训，其他关键字：分布式技术”；
(c)模型选择与训练：模型训练，本发明使用自然语言处理技术做语义分析。FastText是现有主流的自然语言处理训练模型，因此，选择使用FastText模型。将一条训练样本数据输入FastText模型，根据训练的结果，输出这个训练样本数据所属不同标签的概率。
(d)模型评估：使用训练好的模型对验证集或者测试集上的样本进行预测，判断训练出来的模型是否满足要求，若不满足再进行迭代调优。
生成工作笔记模块4：对于经过自然语言处理的事项内容，相同事项合并描述，并统计相同事项出现的频率和时间跨度，如果频率高且时间跨度大，则置为优先事项。系统挑选出预设个数优先级的事项，例如TOP10，按固定格式的模板生成工作笔记，汇总到团队资产存储库。
由于企业员工日常工作繁忙，难以及时、轻松的记录工作笔记，本发明基于电脑操作记录，通过OCR图像识别、NLP自然语言处理技术，自动生产工作笔记，总结资产。其优点如下：用户无需人工操作就能得到一份工作笔记，减少人力成本，提高资产积累。操作记录比较完整，重要事项不会遗漏，时间统计准确。笔记格式标准，利于团队整合和分享。
如图7所示为本发明实施例一种工作笔记生成装置的结构示意图，图中所示装置包括：
信息采集模块10，用于采集智能终端的多条操作信息及各操作信息对应的操作时间；其中，所述操作信息包括截屏图像信息、文字处理信息及视频播放信息。
其中，智能终端可以为电脑，采集智能终端的多条操作信息及对应的操作时间。操作信息为智能终端的操作行为记录，具体包括截屏图像信息、文字处理信息及视频播放信息。具体的，截屏图像信息可以通过定时截屏的方式采集，文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。视频播放信息可以在智能终端播放视频时，进行录屏，由此采集得到视频播放信息。此外，采集每条操作信息时，同时采集操作信息对应的操作时间。操作时间可以为时刻，也可以时间段，例如采集截屏图像信息时的截屏操作时间，或视频播放时间对应的播放时间段。
信息识别模块20，用于对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息。
其中，对于截屏图像信息进行OCR识别，OCR(optical character recognition)文字识别采用tesseract-OCR引擎，用于识别得出智能终端截屏图像信息的文本信息，得到截屏图像信息对应的文字型图像信息。此外，对视频播放信息进行语音识别，得到视频播放信息对应的文字型视频信息。将得到的文字型信息汇总及保存到本地记录中，形成完整的文字型操作信息记录，用于后续的操作行为识别和归类。
笔记生成模块30，用于根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。
其中，识别模型可以利用NLP自然语言处理技术进行预先建立。将文字处理信息、文字型图像信息及文字型视频信息输入至识别模型，输出为各信息对应的标签。实现对文字处理信息、文字型图像信息及文字型视频信息进行打标签处理。具体的，标签包括会议、培训、邮件等。由此实现利用识别模型对各条操作信息进行打标签，以确定各条操作信息属于哪种操作类型。
进一步的，对各条操作信息的标签及对应的操作时间进行整合，生成工作笔记。具体的，工作笔记中各条操作信息可以根据预设排序、操作时间比重或标签进行排序。
作为本发明的一个实施例，文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。
作为本发明的一个实施例，如图8所示，信息识别模块包括：
图像识别单元21，用于对所述截屏图像信息进行图像识别，得到所述截屏图像信息对应的文字型图像信息；
语音识别单元22，用于对所述视频播放信息进行语音识别，得到所述视频播放信息对应的文字型视频信息。
作为本发明的一个实施例，如图9所示，笔记生成模块包括：
标签生成单元31，用于将所述文字处理信息、文字型图像信息及文字型视频信息输入至预先建立的识别模型中，确定所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签；
笔记生成单元32，用于根据所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签及操作时间，生成工作笔记。
作为本发明的一个实施例，如图10所示，装置还包括模型建立模块40，用于获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理；将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。
基于与上述一种工作笔记生成方法相同的申请构思，本发明还提供了上述一种工作笔记生成装置。由于该一种工作笔记生成装置解决问题的原理与一种工作笔记生成方法相似，因此该一种工作笔记生成装置的实施可以参见一种工作笔记生成方法的实施，重复之处不再赘述。
本发明通过对智能终端操作行为进行识别和归类，准确地记录各类事项，并对各类事项进行整合，自动生成有价值的工作笔记，减少人力成本，时间统计准确，从而帮助个人和团队轻松总结资产。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图11所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图11中所示的所有部件；此外，电子设备600还可以包括图11中没有示出的部件，可以参考现有技术。
如图11所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种工作笔记生成方法，其特征在于，所述方法包括：
采集智能终端的多条操作信息及各操作信息对应的操作时间；其中，所述操作信息包括截屏图像信息、文字处理信息及视频播放信息；
对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息；
根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。
2.根据权利要求1所述的方法，其特征在于，所述文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。
3.根据权利要求1所述的方法，其特征在于，所述对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息包括：
对所述截屏图像信息进行图像识别，得到所述截屏图像信息对应的文字型图像信息；
对所述视频播放信息进行语音识别，得到所述视频播放信息对应的文字型视频信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记包括：
将所述文字处理信息、文字型图像信息及文字型视频信息输入至预先建立的识别模型中，确定所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签；
根据所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签及操作时间，生成工作笔记。
5.根据权利要求1所述的方法，其特征在于，所述识别模型是通过如下方式预先建立的：
获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理；
将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。
6.一种工作笔记生成装置，其特征在于，所述装置包括：
信息采集模块，用于采集智能终端的多条操作信息及各操作信息对应的操作时间；其中，所述操作信息包括截屏图像信息、文字处理信息及视频播放信息；
信息识别模块，用于对所述截屏图像信息及视频播放信息进行解析识别，得到分别对应于所述截屏图像信息及视频播放信息的文字型图像信息及文字型视频信息；
笔记生成模块，用于根据所述文字处理信息、所述文字型图像信息及所述文字型视频信息，以及所述文字处理信息、所述文字型图像信息及所述文字型视频信息对应的操作时间，利用预先建立的识别模型，生成工作笔记。
7.根据权利要求6所述的装置，其特征在于，所述文字处理信息包括用户录入信息、页面浏览信息、文字复制信息及文件处理信息。
8.根据权利要求6所述的装置，其特征在于，所述信息识别模块包括：
图像识别单元，用于对所述截屏图像信息进行图像识别，得到所述截屏图像信息对应的文字型图像信息；
语音识别单元，用于对所述视频播放信息进行语音识别，得到所述视频播放信息对应的文字型视频信息。
9.根据权利要求6所述的装置，其特征在于，所述笔记生成模块包括：
标签生成单元，用于将所述文字处理信息、文字型图像信息及文字型视频信息输入至预先建立的识别模型中，确定所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签；
笔记生成单元，用于根据所述文字处理信息、文字型图像信息及所述文字型视频信息分别对应的标签及操作时间，生成工作笔记。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括模型建立模块，用于获取智能终端的多条文字型历史操作信息及各条文字型历史操作信息对应的标签，并对所述文字型历史操作信息数据预处理；将经过数据预处理的文字型历史操作信息及对应的标签作为训练样本数据，对预设的初始自然语言处理模型进行训练，得到所述识别模型。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一项所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110290101.7A CN113033536A (zh) | 2021-03-18 | 2021-03-18 | 工作笔记生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110290101.7A CN113033536A (zh) | 2021-03-18 | 2021-03-18 | 工作笔记生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113033536A true CN113033536A (zh) | 2021-06-25 |
Family
ID=76471602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110290101.7A Pending CN113033536A (zh) | 2021-03-18 | 2021-03-18 | 工作笔记生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033536A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113919299A (zh) * | 2021-09-13 | 2022-01-11 | 科大讯飞股份有限公司 | 一种纪要文本生成方法、投影装置和计算机可读存储介质 |
| CN115119061A (zh) * | 2022-06-15 | 2022-09-27 | 深圳康佳电子科技有限公司 | 一种基于无限屏系统的视频笔记生成方法及相关设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533489A (zh) * | 2008-03-11 | 2009-09-16 | 株式会社日立制作所 | 作业历史记录系统和方法 |
| CN103309794A (zh) * | 2013-04-16 | 2013-09-18 | 北京航空航天大学 | 一种基于数据采集与关键字挖掘的自动日志生成系统及方法 |
| CN106529770A (zh) * | 2016-10-18 | 2017-03-22 | 深圳市喜悦智慧数据有限公司 | 一种追踪工作任务状态的系统及方法 |
| US20190057760A1 (en) * | 2017-08-08 | 2019-02-21 | Virgo Surgical Video Solutions, Inc. | Automated medical note generation system utilizing text, audio and video data |
| CN110024026A (zh) * | 2016-11-28 | 2019-07-16 | 谷歌有限责任公司 | 使用语音识别模型生成结构化文本内容 |
| CN110619341A (zh) * | 2018-06-19 | 2019-12-27 | 佛山市顺德区美的电热电器制造有限公司 | 一种图像识别模型训练系统及方法 |
-
2021
- 2021-03-18 CN CN202110290101.7A patent/CN113033536A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533489A (zh) * | 2008-03-11 | 2009-09-16 | 株式会社日立制作所 | 作业历史记录系统和方法 |
| CN103309794A (zh) * | 2013-04-16 | 2013-09-18 | 北京航空航天大学 | 一种基于数据采集与关键字挖掘的自动日志生成系统及方法 |
| CN106529770A (zh) * | 2016-10-18 | 2017-03-22 | 深圳市喜悦智慧数据有限公司 | 一种追踪工作任务状态的系统及方法 |
| CN110024026A (zh) * | 2016-11-28 | 2019-07-16 | 谷歌有限责任公司 | 使用语音识别模型生成结构化文本内容 |
| US20190057760A1 (en) * | 2017-08-08 | 2019-02-21 | Virgo Surgical Video Solutions, Inc. | Automated medical note generation system utilizing text, audio and video data |
| CN110619341A (zh) * | 2018-06-19 | 2019-12-27 | 佛山市顺德区美的电热电器制造有限公司 | 一种图像识别模型训练系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113919299A (zh) * | 2021-09-13 | 2022-01-11 | 科大讯飞股份有限公司 | 一种纪要文本生成方法、投影装置和计算机可读存储介质 |
| CN115119061A (zh) * | 2022-06-15 | 2022-09-27 | 深圳康佳电子科技有限公司 | 一种基于无限屏系统的视频笔记生成方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230222366A1 (en) | Systems and methods for semantic analysis based on knowledge graph | |
| CN107766371B (zh) | 一种文本信息分类方法及其装置 | |
| US10108709B1 (en) | Systems and methods for queryable graph representations of videos | |
| US11810070B2 (en) | Classifying digital documents in multi-document transactions based on embedded dates | |
| US9171072B2 (en) | System and method for real-time dynamic measurement of best-estimate quality levels while reviewing classified or enriched data | |
| US20120330662A1 (en) | Input supporting system, method and program | |
| CN108563783B (zh) | 一种基于大数据的财务分析管理系统及方法 | |
| CN111984784B (zh) | 人岗匹配方法、装置、电子设备和存储介质 | |
| CN113033536A (zh) | 工作笔记生成方法及装置 | |
| US20150278248A1 (en) | Personal Information Management Service System | |
| CN111128179A (zh) | 一种基于语音识别技术的智慧监管方法及系统 | |
| CN113779343B (zh) | 一种海量数据处理方法、装置、介质及电子设备 | |
| CN111859108A (zh) | 一种舆情系统搜索词推荐系统 | |
| CN116244438A (zh) | 基于深度学习bert模型的招投标文本数据分类方法、系统、存储介质及计算机设备 | |
| US8489444B2 (en) | Chronicling for process discovery in model driven business transformation | |
| CN116166858A (zh) | 基于人工智能的信息推荐方法、装置、设备及存储介质 | |
| CN114037154A (zh) | 基于注意特征的科技成果数量与主题的预测方法及系统 | |
| CN114661684A (zh) | 基于条件随机场的日志报错信息处理方法及装置 | |
| CN113936666A (zh) | 基于bs架构的音频数据识别方法、系统及可读存储介质 | |
| CN112417220A (zh) | 一种异构数据的整合方法 | |
| CN112597271A (zh) | 面向庭审过程中犯罪嫌疑人态度预测的方法 | |
| Constanzo et al. | Analyzing and Filtering Multimedia Digital Evidence with Artificial Intelligence | |
| CN117558296B (zh) | 目标音频识别模型的确定方法、装置及计算设备 | |
| CN112287184B (zh) | 基于神经网络的迁移标注方法、装置、设备及存储介质 | |
| CN111666403B (zh) | 会议纪要处理方法、装置及会议纪要处理设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |