CN109033060B - 一种信息对齐方法、装置、设备及可读存储介质 - Google Patents

一种信息对齐方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109033060B
CN109033060B CN201810934836.7A CN201810934836A CN109033060B CN 109033060 B CN109033060 B CN 109033060B CN 201810934836 A CN201810934836 A CN 201810934836A CN 109033060 B CN109033060 B CN 109033060B
Authority
CN
China
Prior art keywords
text
recognition
text segment
note
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810934836.7A
Other languages
English (en)
Other versions
CN109033060A (zh
Inventor
孔常青
刘庆峰
吴嘉嘉
高建清
刘聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201810934836.7A priority Critical patent/CN109033060B/zh
Publication of CN109033060A publication Critical patent/CN109033060A/zh
Application granted granted Critical
Publication of CN109033060B publication Critical patent/CN109033060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

本申请公开了一种信息对齐方法、装置、设备及可读存储介质，方法包括：获取音频对应的识别文本及音频对应的笔记文本片段；以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段。使用本申请方案可以自动为用户确定与笔记内容对齐的识别文本，减少了用户查找时间，提升了工作效率。

Description

一种信息对齐方法、装置、设备及可读存储介质
技术领域
本申请涉及自然语言处理技术领域，更具体地说，涉及一种信息对齐方法、装置、设备及可读存储介质。
背景技术
随着社会的进步，当前已经进入了信息时代。信息、知识的传播可以通过多种渠道，如书籍、报刊等阅读材料，以及演讲、会议、课堂讲授等包含主讲人和听众的场景下，由主讲人讲授，听众学习记录的方式。
对于包含主讲人和听众的场景下，在主讲人演讲或讲话过程中，为方便后续理解，听众可以对理解的内容加以概括或备注并记录在笔记本上，形成笔记内容。另一方面，还可以对主讲人讲话过程进行全程录音，进一步可以将录音内容识别为文本形式，便于听众查阅整个讲话内容。
本案发明人研究发现，现有技术虽然听众能够获取到笔记内容及录音对应的识别文本内容，但是对于时间较长的讲话录音，其翻译后的识别文本篇幅也是较大的。听众需要从头逐字查阅识别文本，以找到与所记录笔记语义对齐的内容，进而才能够进行后续的会议报告总结、归纳等工作。由此可见，现有技术亟需一种将笔记文本与会议音频识别文本对齐的方案。
发明内容
有鉴于此，本申请提供了一种信息对齐方法、装置、设备及可读存储介质，能够将笔记文本与会议音频识别文本对齐，大大减少用户查阅音频识别文本的时间，提升工作效率。
为了实现上述目的，现提出的方案如下：
一种信息对齐方法，包括：
获取音频对应的识别文本及音频对应的笔记文本片段；
以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段。
优选地，还包括：
确定所述目标识别文本片段在所述音频中对应的时间段；
将所述笔记文本片段与所述音频中所述时间段对应的音频片段对齐。
优选地，还包括：
根据所述笔记文本片段与所述识别文本的文本内容，从所述识别文本中确定候选识别文本片段；
则，所述以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段，包括：
以所述笔记文本片段为对齐标准，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段。
优选地，所述以所述笔记文本片段为对齐标准，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段，包括：
根据所述笔记文本片段与每一所述候选识别文本片段的语义信息，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段。
优选地，所述根据所述笔记文本片段与所述识别文本的文本内容，从所述识别文本中确定候选识别文本片段，包括：
提取所述笔记文本片段的关键词；
参考所述关键词，在所述识别文本中确定连续的包含所述关键词匹配的识别文本片段在内的至少两个识别文本片段，作为候选识别文本片段。
优选地，所述参考所述关键词，在所述识别文本中确定连续的包含所述关键词匹配的识别文本片段在内的至少两个识别文本片段，作为候选识别文本片段，包括：
在所述识别文本中检索与所述关键词的匹配度满足设定匹配条件的识别文本片段，作为匹配识别文本片段；
在所述识别文本中，以所述匹配识别文本片段为起点，向前和/或向后选取连续的N个识别文本片段，由选取的识别文本片段及所述匹配识别文本片段组成候选识别文本片段。
优选地，所述在所述识别文本中检索与所述关键词的匹配度满足设定匹配条件的识别文本片段，包括：
针对所述识别文本中的每一识别文本片段，确定所述识别文本片段与所述关键词的最大匹配字符串长度；
将所述最大匹配字符串长度与所述关键词包含的字符串长度的比值，作为所述识别文本片段与所述关键词的匹配度；
选取匹配度满足设定匹配条件的识别文本片段。
优选地，所述根据所述笔记文本片段与每一所述候选识别文本片段的语义信息，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段，包括：
将所述笔记文本片段与每一所述候选识别文本片段输入预置的语义匹配模型，得到模型输出的每一所述候选识别文本片段与所述笔记文本片段的语义匹配得分；所述语义匹配模型为利用标注语义匹配得分的识别文本片段训练数据及笔记文本片段训练数据训练得到；
选取语义匹配得分大于语义匹配得分阈值的候选识别文本片段，作为与所述笔记文本片段对齐的目标识别文本片段。
优选地，获取音频对应的笔记文本片段的过程，包括：
对音频对应的手写笔记文稿进行光学字符OCR识别，得到识别后的笔记文本；
对笔记文本进行分段处理，得到笔记文本片段；
或，
获取音频对应的电子形式的笔记文本片段。
一种信息对齐装置，包括：
数据获取单元，用于获取音频对应的识别文本及音频对应的笔记文本片段；
文本对齐单元，用于以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段。
优选地，还包括：
对齐时间段确定单元，用于确定所述目标识别文本片段在所述音频中对应的时间段；
音频对齐单元，用于将所述笔记文本片段与所述音频中所述时间段对应的音频片段对齐。
优选地，还包括：
候选识别文本片段确定单元，用于根据所述笔记文本片段与所述识别文本的文本内容，从所述识别文本中确定候选识别文本片段；
所述文本对齐单元包括：
文本片段对齐单元，用于以所述笔记文本片段为对齐标准，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段。
优选地，所述文本片段对齐单元包括：
语义文本片段对齐单元，用于根据所述笔记文本片段与每一所述候选识别文本片段的语义信息，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段。
优选地，所述候选识别文本片段确定单元包括：
关键词提取单元，用于提取所述笔记文本片段的关键词；
关键词匹配单元，用于参考所述关键词，在所述识别文本中确定连续的包含所述关键词匹配的识别文本片段在内的至少两个识别文本片段，作为候选识别文本片段。
优选地，所述关键词匹配单元，包括：
匹配识别文本片段确定单元，用于在所述识别文本中检索与所述关键词的匹配度满足设定匹配条件的识别文本片段，作为匹配识别文本片段；
扩展单元，用于在所述识别文本中，以所述匹配识别文本片段为起点，向前和/或向后选取连续的N个识别文本片段，由选取的识别文本片段及所述匹配识别文本片段组成候选识别文本片段。
优选地，所述匹配识别文本片段确定单元包括：
最大匹配字符串长度确定单元，用于针对所述识别文本中的每一识别文本片段，确定所述识别文本片段与所述关键词的最大匹配字符串长度；
匹配度确定单元，用于将所述最大匹配字符串长度与所述关键词包含的字符串长度的比值，作为所述识别文本片段与所述关键词的匹配度；
匹配度条件筛选单元，用于选取匹配度满足设定匹配条件的识别文本片段。
优选地，所述语义文本片段对齐单元包括：
模型预测单元，用于将所述笔记文本片段与每一所述候选识别文本片段输入预置的语义匹配模型，得到模型输出的每一所述候选识别文本片段与所述笔记文本片段的语义匹配得分；所述语义匹配模型为利用标注语义匹配得分的识别文本片段训练数据及笔记文本片段训练数据训练得到；
语义匹配得分筛选单元，用于选取语义匹配得分大于语义匹配得分阈值的候选识别文本片段，作为与所述笔记文本片段对齐的目标识别文本片段。
优选地，所述模型预测单元包括：
第一隐层处理单元，用于将所述笔记文本片段以词向量形式输入语义匹配模型的第一隐层处理模块，得到第一隐层处理模块处理后的第一隐层向量特征；
第二隐层处理单元，用于将每一所述候选识别文本片段以词向量形式输入语义匹配模型的第二隐层处理模块，得到第二隐层处理模块处理后的与每一候选识别文本片段对应的第二隐层向量特征；
第三隐层处理单元，用于将每一候选识别文本片段对应的第二隐层向量特征分别与所述第一隐层向量特征进行拼接，拼接结果输入语义匹配模型的第三隐层处理模块，得到第三隐层处理模块输出的每一所述候选识别文本片段与所述笔记文本片段的语义匹配得分。
一种信息对齐设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上所述的信息对齐方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的信息对齐方法的各个步骤。
从上述的技术方案可以看出，本申请实施例提供的信息对齐方法，获取音频对应的识别文本及音频对应的笔记文本片段；进一步，以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段。使用本申请方案可以自动为用户确定与笔记内容对齐的识别文本，减少了用户查找时间，提升了工作效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种信息对齐方法流程图；
图2示例了一种纸质笔记文稿进行OCR识别及分段后的效果示意图；
图3示例了一种语义匹配模型的应用示意图；
图4为本申请实施例公开的一种信息对齐装置结构示意图；
图5为本申请实施例公开的一种信息对齐设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的信息对齐方案，适用于包含主讲人与听众的场景下，对主讲人讲话进行录音及文本识别，同时听众在主讲人讲话过程中，对理解的内容加以概括或备注，为方便后续理解所记录的笔记内容。一般地，听众在演讲或者会议的过程中所记录的笔记内容都是对原演讲者音频高度提炼的结果，合理的将其和原演讲者音频识别文本进行对齐，能够极大地提高原音频内容的可懂性，条理也更加清晰。接下来，结合附图1对本申请信息对齐方法进行介绍，如图1所示，该方法包括：
步骤S100、获取音频对应的识别文本及音频对应的笔记文本片段。
按照方案所应用的场景不同，这里的音频也不同，如演讲场景下，音频可以是演讲人的录音文件，课堂授课场景下，音频可以是讲课人的录音文件。除此之外，音频还可以是故事音频、采访音频等各种形式。
本步骤中可以获取音频对应的识别文本，该识别文本可以是通过语音识别技术识别的音频对应的文本。一般性的，识别文本包括多个识别文本片段。其中，识别文本片段可以是组成识别文本的基本单元，或基本单元的组合，如识别文本片段可以是句子，段落等。
音频对应的笔记文本片段为听众在主讲人讲话过程所记录的内容，笔记文本片段可以是句子，段落等。本步骤中获取的笔记文本片段是可编辑形式的。
步骤S110、以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段。
具体地，在得到音频对应的识别文本和笔记文本片段之后，本步骤中以笔记文本片段为对齐标准，从识别文本中确定出与笔记文本片段对齐的目标识别文本片段，作为目标识别文本片段，也即目标识别文本片段与笔记文本片段对齐。
本申请实施例提供的信息对齐方法，获取音频对应的识别文本及音频对应的笔记文本片段；进一步，以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段。使用本申请方案可以自动为用户确定与笔记内容对齐的识别文本，减少了用户查找时间，提升了工作效率。
进一步可选的，在确定了与笔记文本片段对齐的目标识别文本片段之后，可以确定目标识别文本片段在所述音频中对应的时间段。
具体地，目标识别文本片段是通过语音识别从音频中识别出来的，在确定了目标识别文本片段之后，可以反向确定出目标识别文本片段在音频中对应的时间段。
在此基础上，将笔记文本片段与音频中所述时间段对应的音频片段对齐。
具体操作过程，可以为笔记文本片段标注时间戳，该时间戳即为确定的所述时间段。用户可以按照时间戳去音频中查找对应的音频片段，极大地提高原音频内容的可懂性，条理也更加清晰。
在本申请的另一个实施例中，介绍了另一种信息对齐方法，相比于上一实施例，本实施例可以进一步增加如下步骤：
根据所述笔记文本片段与所述识别文本的文本内容，从所述识别文本中确定候选识别文本片段。
具体地，可以参考文本内容，从识别文本包含的各识别文本片段中，确定出与笔记文本片段的文本内容匹配的识别文本片段，作为候选识别文本片段。也即，本步骤中根据文本内容匹配程度，对识别文本进行初步筛选，筛选得到可能成为与笔记文本片段对齐的候选识别文本片段。
在此基础上，上述步骤S110，以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段的过程，具体可以包括：
以所述笔记文本片段为对齐标准，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段。
本申请实施例提供的信息对齐方法，先是根据文本内容，从识别文本中确定出可能与笔记文本片段对齐的候选识别文本片段，进一步从候选识别文本片段中精确的找出与笔记文本片段对齐的目标识别文本片段。由此可见，本实施例将对齐过程划分为两个环节，即初步确定与笔记文本片段可能对齐的候选识别文本片段，进一步从候选识别文本片段中精确定位与笔记文本片段对齐的目标识别文本片段，使得整个对齐过程速度更快，准确度更高。
进一步可选的，上诉以所述笔记文本片段为对齐标准，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段的过程，具体可以包括：
根据所述笔记文本片段与每一所述候选识别文本片段的语义信息，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段。
具体地，在精确匹配过程，本实施例中可以参考语义信息，即通过语义信息从候选识别文本片段中确定出与笔记文本片段对齐的目标识别文本片段。
本申请的另一个实施例中，对上述步骤中，根据所述笔记文本片段与所述识别文本的文本内容，从所述识别文本中确定候选识别文本片段的过程进行介绍。
一种可选的实施方式中，根据文本内容确定候选识别文本片段的过程可以包括：
首先，提取所述笔记文本片段的关键词。
具体地，笔记文本片段的关键词能够反映笔记文本片段的核心点。可以采用关键词提取技术从笔记文本片段中提取关键词，常见的关键词提取技术如TF-IDF(termfrequency–inverse document frequency)关键词提取方法等。
进一步，参考所述关键词，在所述识别文本中确定连续的包含所述关键词匹配的识别文本片段在内的至少两个识别文本片段，作为候选识别文本片段。
具体地，以关键词作为匹配条件，在识别文本中确定与其匹配的识别文本片段。考虑到真实的识别文本一般较长，且为了保证语义上的连贯性，本步骤中在识别文本中确定包含该匹配的识别文本片段在内的连续的至少两个识别文本片段，组成候选识别文本片段。也即，可以看作针对匹配的识别文本片段，在识别文本中对其进行加窗，窗长内包含了匹配的识别文本片段及连续的至少另一个识别文本片段。
本实施例中通过关键词匹配方式得到可能与笔记文本片段对齐的若干个候选识别文本片段，后续可以从候选识别文本片段中确定出与笔记文本片段对齐的目标识别文本片段。
除了上述实施方式之外，本申请实施例还可以采用其他文本内容比较方式，从识别文本中确定与笔记文本片段的文本内容匹配的候选识别文本片段。示例如，分别计算每一识别文本片段与笔记文本片段的文本相似度，进而选取相似度大于设定相似度阈值的识别文本片段，作为候选识别文本片段。
在本申请的另一个实施例中，对上述步骤S100，获取音频对应的笔记文本片段的过程进行介绍。
可以理解的是，根据用户记录笔记的方式不同，本步骤中获取笔记文本片段的方式也不同。当用户在电子设备中编辑记录笔记内容时，则可以直接获取电子形式的笔记文本片段。
此外，当用户在纸质稿件上记录笔记时，则可以对音频对应的手写笔记文稿进行光学字符OCR(OpticalCharacter Recognition，光学字符识别)识别，得到识别后的笔记文本。进一步地，对笔记文本进行分段处理，得到笔记文本片段。
其中，OCR识别过程即进行手写识别，该过程中当检测到连续空字符串长度大于预先设定的空字符串长度阈值时，则将已识别出的最后一个文本字符作为片段结尾，即由已识别出的最后一个文本字符及其以前识别出的文本字符构成一个候选笔记文本片段。
进一步地，对于候选笔记文本片段，若其长度小于笔记文本片段长度阈值，则可以将其作为一个笔记文本片段。若其长度不小于笔记文本片段长度阈值，则可以利用语义断句模型对其进行断句，并将断句后得到的每个句子分别作为笔记文本片段。
最终OCR识别后的笔记文本，划分为若干笔记文本片段Si(i＝1...m)，其中m为笔记文本包含的笔记文本片段总数。
如图2所示，其示例了一份纸质笔记文稿进行OCR识别及分段后的效果示意图。
其中共包含三个笔记文本片段，分别为S1-S3。并且，从图2中可以看出，每个相邻笔记文本片段之间包含大量的连续空白字符串。
在本申请的另一个实施例中，对上述步骤中参考关键词在识别文本中确定候选识别文本片段的过程进行介绍，该过程可以包括：
S1、在所述识别文本中检索与所述关键词的匹配度满足设定匹配条件的识别文本片段，作为匹配识别文本片段。
具体地，可以利用关键词检索技术，在识别文本中检索与关键词的匹配度满足设定匹配条件的识别文本片段，将该识别文本片段作为匹配识别文本片段。
其中，设定匹配条件可以是，匹配度超过设定匹配度阈值，或者，匹配度排序处于设定排序位置之前，如匹配度最高的前M个识别文本片段。
本实施例中，介绍了一种确定关键词与识别文本片段的匹配度的可选方式，具体可以包括：
S11、针对所述识别文本中的每一识别文本片段，确定所述识别文本片段与所述关键词的最大匹配字符串长度。
以关键词Ki进行表示，识别文本片段Dj进行表示。则利用关键词Ki在识别文本片段Dj中进行匹配，可以得到最大匹配字符串长度Lij，最大匹配字符串长度Lij即是能够匹配上的Ki的最长子串的长度，例如：关键词Ki为“深入学习”，识别文本片段Dj为“我们要加强学习专业知识”，则最大匹配字符串为“学习”，因此最大匹配字符串长度Lij为2。
S12、将所述最大匹配字符串长度与所述关键词包含的字符串长度的比值，作为所述识别文本片段与所述关键词的匹配度。
具体地，识别文本片段Dj与所述关键词Ki的匹配度Simij可以表示为：
Simij＝Lij/len(Ki)
其中，Lij为最大匹配字符串长度，len(Ki)为关键词Ki的长度。
仍以上述示例的例子进行说明，最大匹配字符串长度Lij为2，关键词Ki包含的字符串长度4，因此关键词Ki与识别文本片段Dj的匹配度为2/4＝0.5。
S2、在所述识别文本中，以所述匹配识别文本片段为起点，向前和/或向后选取连续的N个识别文本片段，由选取的识别文本片段及所述匹配识别文本片段组成候选识别文本片段。
具体地，上一步骤中通过关键词匹配得到与关键词匹配的识别文本片段。而考虑到识别文本一般较长，与关键词所在的笔记文本片段语义相同的内容可能不止匹配识别文本片段一个。为了提高笔记文本片段的对齐准确率，本实施例中可以以匹配识别文本片段为起点，向前和/或向后选取连续的N个识别文本片段，由匹配识别文本片段和选取的识别文本片段共同组成候选识别文本片段。
在以匹配识别文本片段为起点，选取识别文本片段时，可以仅向前选取连续的N个识别文本片段，也可以仅向后选取连续的N个识别文本片段，或者同时向前、向后分别选取连续的N个识别文本片段。
对于上述N值，其可以通过预先对训练数据分析确定出一个固定值。或者，可以以所述匹配识别文本片段与所述关键词的匹配度为自变量，按照负相关的函数关系确定作为因变量的N值，具体公式如下：
N＝α/Simij*n
N≥0.5n时，N＝0.5n
其中，α为规整因子，可以通过对训练数据分析预先确定，n为识别文本所包含识别文本片段的总数。
由此可见，当关键词与匹配识别文本片段的匹配度越高，则以匹配识别文本片段为起点前后选取作为候选识别文本片段的识别文本片段的个数越小。这一点可以理解为，若笔记文本片段的关键词与匹配识别文本片段的匹配度越高，则可能成为与笔记文本片段对齐的目标识别文本片段越集中在匹配识别文本片段周围，因此前后选取的N值越小，反之，若笔记文本片段的关键词与匹配识别文本片段的匹配度越低，则可能成为与笔记文本片段对齐的目标识别文本片段越远离匹配识别文本片段，因此前后选取的N值越大，以保证不会错失真正的与笔记文本片段对齐的识别文本片段。
示例如下：
对于给定的笔记文本片段i，假设M为1，通过调整α使N＝1，即在匹配识别文本片段前后各增加一个识别文本片段。假定笔记文本片段i提取出的关键词与识别文本中第10个识别文本片段匹配的得分最高，则D10作为匹配识别文本片段，并前后分别选取一个识别文本片段：D9和D11。最终得到的候选识别文本片段包括：D9D10D11。
在本申请的又一个实施例中，对上述步骤S120，根据所述笔记文本片段与每一所述候选识别文本片段的语义信息，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段的过程进行介绍。
本实施例中可以通过神经网络模型来预测目标识别文本片段。具体地，本申请可以预先训练语义匹配模型。
训练时，人工对识别文本片段训练数据进行语义匹配得分的标注，该标注的语义匹配得分表明识别文本片段训练数据与笔记文本片段训练数据是否对齐。进而利用标注有语义匹配得分的识别文本片段训练数据，及笔记文本片段训练数据训练语义匹配模型。
基于训练后的语义匹配模型，可以将所述笔记文本片段与每一所述候选识别文本片段输入该语义匹配模型，得到模型输出的每一所述候选识别文本片段与所述笔记文本片段的语义匹配得分。
进一步地，选取语义匹配得分大于语义匹配得分阈值的候选识别文本片段，作为与所述笔记文本片段对齐的目标识别文本片段。
对于语义匹配模型，其可以采用多种神经网络模型结构。本实施例中设计了一种语义匹配模型的网络结构，主要由三个处理模块组成，分别为第一隐层处理模块、第二隐层处理模块和第三隐层处理模块。
在利用语义匹配模型进行语义匹配得分预测时：
1)将所述笔记文本片段以词向量形式输入第一隐层处理模块，得到第一隐层处理模块处理后的第一隐层向量特征。
2)将每一所述候选识别文本片段以词向量形式输入第二隐层处理模块，得到第二隐层处理模块处理后的与每一候选识别文本片段对应的第二隐层向量特征。
3)将每一候选识别文本片段对应的第二隐层向量特征分别与所述第一隐层向量特征进行拼接，拼接结果输入第三隐层处理模块，得到第三隐层处理模块输出的每一所述候选识别文本片段与所述笔记文本片段的语义匹配得分。
其中，第一隐层处理模块可以采用双向LSTM(Long Short-TermMemory)模型，对输入的词向量形式的笔记文本片段进行隐层特征变换，最终得到处理后的第一隐层向量特征。
第二隐层处理模块也可以采用双向LSTM模型，输入的候选识别文本片段的词向量，经过隐层特征变换后进行下采样，得到每一候选识别文本片段对应的第二隐层向量特征。下采样的方式可以采用average-pooling操作，也可以采用max-pooling操作。
将第一隐层处理模块输出的第一隐层向量特征，分别与第二隐层处理模块输出的每一候选识别文本片段的第二隐层向量特征进行拼接，每一拼接结果作为第三隐层处理模块的输入，并由第三隐层处理模块输出每一所述候选识别文本片段与所述笔记文本片段的语义匹配得分。
参见图3，其示例了一种语义匹配模型的应用示意图。
下面对本申请实施例提供的信息对齐装置进行描述，下文描述的信息对齐装置与上文描述的信息对齐方法可相互对应参照。
参见图4，图4为本申请实施例公开的一种信息对齐装置结构示意图。如图4所示，该装置可以包括：
数据获取单元11，用于获取音频对应的识别文本及音频对应的笔记文本片段，所述识别文本包含至少两个识别文本片段；
文本对齐单元12，用于以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段。
可选的，本申请的装置还可以包括：
对齐时间段确定单元，用于确定所述目标识别文本片段在所述音频中对应的时间段；
音频对齐单元，用于将所述笔记文本片段与所述音频中所述时间段对应的音频片段对齐。
可选的，本申请的装置还可以包括：
候选识别文本片段确定单元，用于根据所述笔记文本片段与所述识别文本的文本内容，从所述识别文本中确定候选识别文本片段。基于此，
所述文本对齐单元可以包括：
文本片段对齐单元，用于以所述笔记文本片段为对齐标准，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段。
可选的，所述文本片段对齐单元可以包括：
语义文本片段对齐单元，用于根据所述笔记文本片段与每一所述候选识别文本片段的语义信息，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段。
可选的，所述候选识别文本片段确定单元可以包括：
关键词提取单元，用于提取所述笔记文本片段的关键词；
关键词匹配单元，用于参考所述关键词，在所述识别文本中确定连续的包含所述关键词匹配的识别文本片段在内的至少两个识别文本片段，作为候选识别文本片段。
可选的，所述关键词匹配单元，可以包括：
匹配识别文本片段确定单元，用于在所述识别文本中检索与所述关键词的匹配度满足设定匹配条件的识别文本片段，作为匹配识别文本片段；
扩展单元，用于在所述识别文本中，以所述匹配识别文本片段为起点，向前和/或向后选取连续的N个识别文本片段，由选取的识别文本片段及所述匹配识别文本片段组成候选识别文本片段。
可选的，所述匹配识别文本片段确定单元可以包括：
最大匹配字符串长度确定单元，用于针对所述识别文本中的每一识别文本片段，确定所述识别文本片段与所述关键词的最大匹配字符串长度；
匹配度确定单元，用于将所述最大匹配字符串长度与所述关键词包含的字符串长度的比值，作为所述识别文本片段与所述关键词的匹配度；
匹配度条件筛选单元，用于选取匹配度满足设定匹配条件的识别文本片段。
可选的，所述关键词匹配单元，还可以包括：
N值确定单元，用于以所述匹配识别文本片段与所述关键词的匹配度为自变量，按照负相关的函数关系确定作为因变量的N值。
可选的，所述语义文本片段对齐单元可以包括：
模型预测单元，用于将所述笔记文本片段与每一所述候选识别文本片段输入预置的语义匹配模型，得到模型输出的每一所述候选识别文本片段与所述笔记文本片段的语义匹配得分；所述语义匹配模型为利用标注语义匹配得分的识别文本片段训练数据及笔记文本片段训练数据训练得到；
语义匹配得分筛选单元，用于选取语义匹配得分大于语义匹配得分阈值的候选识别文本片段，作为与所述笔记文本片段对齐的目标识别文本片段。
可选的，所述模型预测单元可以包括：
第一隐层处理单元，用于将所述笔记文本片段以词向量形式输入语义匹配模型的第一隐层处理模块，得到第一隐层处理模块处理后的第一隐层向量特征；
第二隐层处理单元，用于将每一所述候选识别文本片段以词向量形式输入语义匹配模型的第二隐层处理模块，得到第二隐层处理模块处理后的与每一候选识别文本片段对应的第二隐层向量特征；
第三隐层处理单元，用于将每一候选识别文本片段对应的第二隐层向量特征分别与所述第一隐层向量特征进行拼接，拼接结果输入语义匹配模型的第三隐层处理模块，得到第三隐层处理模块输出的每一所述候选识别文本片段与所述笔记文本片段的语义匹配得分。
可选的，所述数据获取单元获取音频对应的笔记文本片段的过程，可以包括：
对音频对应的手写笔记文稿进行光学字符OCR识别，得到识别后的笔记文本；
对笔记文本进行分段处理，得到笔记文本片段；
或，
获取音频对应的电子形式的笔记文本片段。
本申请实施例提供的信息对齐装置可应用于信息对齐设备，如PC终端、云平台、服务器及服务器集群等。可选的，图5示出了信息对齐设备的硬件结构框图，参照图5，信息对齐设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取音频对应的识别文本及音频对应的笔记文本片段；
以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
获取音频对应的识别文本及音频对应的笔记文本片段；
以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种信息对齐方法，其特征在于，包括：
获取音频对应的识别文本及音频对应的笔记文本片段；
根据所述笔记文本片段与所述识别文本的文本内容，从所述识别文本中确定候选识别文本片段；
以所述笔记文本片段为对齐标准，从所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段；
所述以所述笔记文本片段为对齐标准，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段，包括：
根据所述笔记文本片段与每一所述候选识别文本片段的语义信息，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段。
2.根据权利要求1所述的方法，其特征在于，还包括：
确定所述目标识别文本片段在所述音频中对应的时间段；
将所述笔记文本片段与所述音频中所述时间段对应的音频片段对齐。
3.根据权利要求1所述的方法，其特征在于，所述根据所述笔记文本片段与所述识别文本的文本内容，从所述识别文本中确定候选识别文本片段，包括：
提取所述笔记文本片段的关键词；
参考所述关键词，在所述识别文本中确定连续的包含所述关键词匹配的识别文本片段在内的至少两个识别文本片段，作为候选识别文本片段。
4.根据权利要求3所述的方法，其特征在于，所述参考所述关键词，在所述识别文本中确定连续的包含所述关键词匹配的识别文本片段在内的至少两个识别文本片段，作为候选识别文本片段，包括：
在所述识别文本中检索与所述关键词的匹配度满足设定匹配条件的识别文本片段，作为匹配识别文本片段；
在所述识别文本中，以所述匹配识别文本片段为起点，向前和/或向后选取连续的N个识别文本片段，由选取的识别文本片段及所述匹配识别文本片段组成候选识别文本片段。
5.根据权利要求4所述的方法，其特征在于，所述在所述识别文本中检索与所述关键词的匹配度满足设定匹配条件的识别文本片段，包括：
针对所述识别文本中的每一识别文本片段，确定所述识别文本片段与所述关键词的最大匹配字符串长度；
将所述最大匹配字符串长度与所述关键词包含的字符串长度的比值，作为所述识别文本片段与所述关键词的匹配度；
选取匹配度满足设定匹配条件的识别文本片段。
6.根据权利要求1所述的方法，其特征在于，所述根据所述笔记文本片段与每一所述候选识别文本片段的语义信息，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段，包括：
将所述笔记文本片段与每一所述候选识别文本片段输入预置的语义匹配模型，得到模型输出的每一所述候选识别文本片段与所述笔记文本片段的语义匹配得分；所述语义匹配模型为利用标注语义匹配得分的识别文本片段训练数据及笔记文本片段训练数据训练得到；
选取语义匹配得分大于语义匹配得分阈值的候选识别文本片段，作为与所述笔记文本片段对齐的目标识别文本片段。
7.根据权利要求1所述的方法，其特征在于，获取音频对应的笔记文本片段的过程，包括：
对音频对应的手写笔记文稿进行光学字符OCR识别，得到识别后的笔记文本；
对笔记文本进行分段处理，得到笔记文本片段；
或，
获取音频对应的电子形式的笔记文本片段。
8.一种信息对齐装置，其特征在于，包括：
数据获取单元，用于获取音频对应的识别文本及音频对应的笔记文本片段；
文本对齐单元，用于以所述笔记文本片段为对齐标准，从所述识别文本中确定与所述笔记文本片段对齐的目标识别文本片段；
候选识别文本片段确定单元，用于根据所述笔记文本片段与所述识别文本的文本内容，从所述识别文本中确定候选识别文本片段；
所述文本对齐单元包括：
文本片段对齐单元，用于以所述笔记文本片段为对齐标准，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段；
所述文本片段对齐单元包括：
语义文本片段对齐单元，用于根据所述笔记文本片段与每一所述候选识别文本片段的语义信息，从各所述候选识别文本片段中确定与所述笔记文本片段对齐的目标识别文本片段。
9.根据权利要求8所述的装置，其特征在于，还包括：
对齐时间段确定单元，用于确定所述目标识别文本片段在所述音频中对应的时间段；
音频对齐单元，用于将所述笔记文本片段与所述音频中所述时间段对应的音频片段对齐。
10.根据权利要求8所述的装置，其特征在于，所述候选识别文本片段确定单元包括：
关键词提取单元，用于提取所述笔记文本片段的关键词；
关键词匹配单元，用于参考所述关键词，在所述识别文本中确定连续的包含所述关键词匹配的识别文本片段在内的至少两个识别文本片段，作为候选识别文本片段。
11.根据权利要求10所述的装置，其特征在于，所述关键词匹配单元，包括：
匹配识别文本片段确定单元，用于在所述识别文本中检索与所述关键词的匹配度满足设定匹配条件的识别文本片段，作为匹配识别文本片段；
扩展单元，用于在所述识别文本中，以所述匹配识别文本片段为起点，向前和/或向后选取连续的N个识别文本片段，由选取的识别文本片段及所述匹配识别文本片段组成候选识别文本片段。
12.根据权利要求11所述的装置，其特征在于，所述匹配识别文本片段确定单元包括：
最大匹配字符串长度确定单元，用于针对所述识别文本中的每一识别文本片段，确定所述识别文本片段与所述关键词的最大匹配字符串长度；
匹配度确定单元，用于将所述最大匹配字符串长度与所述关键词包含的字符串长度的比值，作为所述识别文本片段与所述关键词的匹配度；
匹配度条件筛选单元，用于选取匹配度满足设定匹配条件的识别文本片段。
13.一种信息对齐设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1-7中任一项所述的信息对齐方法的各个步骤。
14.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的信息对齐方法的各个步骤。
CN201810934836.7A 2018-08-16 2018-08-16 一种信息对齐方法、装置、设备及可读存储介质 Active CN109033060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810934836.7A CN109033060B (zh) 2018-08-16 2018-08-16 一种信息对齐方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810934836.7A CN109033060B (zh) 2018-08-16 2018-08-16 一种信息对齐方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109033060A CN109033060A (zh) 2018-12-18
CN109033060B true CN109033060B (zh) 2023-01-17

Family

ID=64631722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810934836.7A Active CN109033060B (zh) 2018-08-16 2018-08-16 一种信息对齐方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109033060B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766442A (zh) * 2019-01-08 2019-05-17 广东小天才科技有限公司 一种对用户笔记进行分类的方法及系统
CN110223365A (zh) * 2019-06-14 2019-09-10 广东工业大学 一种笔记生成方法、系统、装置及计算机可读存储介质
CN112102847B (zh) * 2020-09-09 2022-08-09 四川大学 一种音频和幻灯片内容对齐方法
CN113011174B (zh) * 2020-12-07 2023-08-11 红塔烟草(集团)有限责任公司 一种基于文本分析的围标串标识别方法
CN112836484B (zh) * 2021-04-20 2021-08-27 北京妙医佳健康科技集团有限公司 一种文本对齐方法、装置、电子设备、计算机可读存储介质
CN114281948A (zh) * 2021-12-30 2022-04-05 安徽听见科技有限公司 一种纪要确定方法及其相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996631A (zh) * 2009-08-28 2011-03-30 国际商业机器公司 用于对齐文本的方法和装置
CN105912575A (zh) * 2016-03-31 2016-08-31 百度在线网络技术（北京）有限公司 文字信息推送方法和装置
CN106970987A (zh) * 2017-03-29 2017-07-21 陈�峰 一种数据分析方法及装置
CN108153732A (zh) * 2017-12-25 2018-06-12 科大讯飞股份有限公司 一种审讯笔录的审查方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996631A (zh) * 2009-08-28 2011-03-30 国际商业机器公司 用于对齐文本的方法和装置
CN105912575A (zh) * 2016-03-31 2016-08-31 百度在线网络技术（北京）有限公司 文字信息推送方法和装置
CN106970987A (zh) * 2017-03-29 2017-07-21 陈�峰 一种数据分析方法及装置
CN108153732A (zh) * 2017-12-25 2018-06-12 科大讯飞股份有限公司 一种审讯笔录的审查方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
关于中文文档复制检测算法的改进;孙伟等;《计算机工程与科学》;20100815(第08期);全文 *
基于词项语义组合的文本相似度计算方法研究;周丽杰等;《计算机工程与应用》;20161231(第19期);第90-93页 *

Also Published As

Publication number Publication date
CN109033060A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109033060B (zh) 一种信息对齐方法、装置、设备及可读存储介质
CN108536654B (zh) 识别文本展示方法及装置
CN110444198B (zh) 检索方法、装置、计算机设备和存储介质
CN107305541B (zh) 语音识别文本分段方法及装置
US20200196028A1 (en) Video highlight recognition and extraction tool
US8126897B2 (en) Unified inverted index for video passage retrieval
CN111276149B (zh) 语音识别方法、装置、设备及可读存储介质
CN109145149B (zh) 一种信息对齐方法、装置、设备及可读存储介质
CN111161739A (zh) 语音识别方法及相关产品
CN112382295B (zh) 语音识别方法、装置、设备及可读存储介质
CN111191022A (zh) 商品短标题生成方法及装置
US11501546B2 (en) Media management system for video data processing and adaptation data generation
CN109634436B (zh) 输入法的联想方法、装置、设备及可读存储介质
CN114297439A (zh) 一种短视频标签确定方法、系统、装置及存储介质
WO2023124647A1 (zh) 一种纪要确定方法及其相关设备
CN112069312A (zh) 一种基于实体识别的文本分类方法及电子装置
CN116361510A (zh) 一种利用影视类作品和剧本建立剧本场景片段视频自动提取和检索的方法和装置
CN111881297A (zh) 语音识别文本的校正方法及装置
CN111400513A (zh) 数据处理方法、装置、计算机设备和存储介质
CN111414735A (zh) 文本数据的生成方法和装置
CN112543371A (zh) 视频数据处理方法、装置、终端及存储介质
AlMousa et al. Nlp-enriched automatic video segmentation
CN112231440A (zh) 一种基于人工智能的语音搜索方法
CN108899016B (zh) 一种语音文本规整方法、装置、设备及可读存储介质
CN112151019A (zh) 文本处理方法、装置及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant