CN113380234B - 基于语音识别生成表单的方法、装置、设备及介质 - Google Patents

基于语音识别生成表单的方法、装置、设备及介质 Download PDF

Info

Publication number
CN113380234B
CN113380234B CN202110922780.5A CN202110922780A CN113380234B CN 113380234 B CN113380234 B CN 113380234B CN 202110922780 A CN202110922780 A CN 202110922780A CN 113380234 B CN113380234 B CN 113380234B
Authority
CN
China
Prior art keywords
voice
information
database
data
voice data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110922780.5A
Other languages
English (en)
Other versions
CN113380234A (zh
Inventor
姚娟娟
钟南山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mingping Medical Data Technology Co ltd
Original Assignee
Mingpinyun Beijing Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingpinyun Beijing Data Technology Co Ltd filed Critical Mingpinyun Beijing Data Technology Co Ltd
Priority to CN202110922780.5A priority Critical patent/CN113380234B/zh
Publication of CN113380234A publication Critical patent/CN113380234A/zh
Application granted granted Critical
Publication of CN113380234B publication Critical patent/CN113380234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于语音识别生成表单的方法、装置、设备及介质，包括：获取当前多人会话的语音数据；利用语音识别处理多人会话所形成的语音数据，生成相应的文本数据；提取语音数据中各个语句的时序信息；检测每个会话者的人声特征，结合人声特征与时序信息进行标记以区分文本数据内各个语句所对应会话者；利用自然语言处理技术识别多人会话对应的文本数据，选择特定会话者所说的文字内容；根据特定会话者的语义选择相应的表单类型，将特定会话者对应的文本信息按表单的格式进行字段填写，生成相应的表单。本发明按照特定会话者的语句语义自动匹配相应类型的表单，根据表单格式按照语句语义进行填写，进而自动生成表单，提高了表单生成效率。

Description

基于语音识别生成表单的方法、装置、设备及介质
技术领域
本发明属于语音识别技术领域，特别是涉及一种基于语音识别生成表单的方法、装置、设备及介质。
背景技术
语音识别技术，也被称为自动语音识别Automatic Speech Recognition，(ASR)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。目前比较成熟的语音识别方案主要为基于语音信号的识别方案，该方案的大致过程为，将待识别的语音信号输入语音识别模型进行识别，从而获得语音识别结果。
然而，采用传统的语音识别技术，针对家电、通信、汽车电子、医疗、家庭服务、消费电子产品等各个领域，无法通过语音识别直接填写表单，需要通过人员手写或通过计算机录入才能完成表单。
因此，现有技术中亟需一种自动生成表单的方法。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于语音识别生成表单的方法、装置、设备及介质，用于解决现有技术无法在多人交谈时，识别用户语音信息填写表单的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种基于语音识别生成表单的方法，包括：
获取当前多人会话的语音数据；
利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据；
提取所述语音数据中各个语句的时序信息；
检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；
利用自然语言处理技术识别多人会话对应的所述文本数据，选择特定会话者所说的文字内容；
根据所述特定会话者的语义选择相应的表单类型，将所述特定会话者对应的文本信息按所述表单的格式进行字段填写，生成相应的表单。
于所述第一方面的一实施例中，所述利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据的步骤，包括：
构建语音文字匹配模型库，基于所述模型库对RNN-T语音识别模型进行训练；
利用训练好的RNN-T语音识别模型将语音数据转化为文本数据。
于所述第一方面的一实施例中，所述提取所述语音数据中各个语句的时序信息的步骤，包括：
获取会话者的语音数据和其对应的唇部图像数据，其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息。
于所述第一方面的一实施例中，还包括：
依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；
在所述文本数据内按照人声特征与时序特征将各个语句进行标记区分，得到文本数据内不同会话者所对应的语句内容；
利用自然语言处理技术识别所述文本数据内各个语句领域，结合上下文语境判断各个语句的语义，根据各个语句的语义以及标记选择特定会话者所说的文字内容。
于所述第一方面的一实施例中，还包括：
建立词库数据库，所述词库数据库包括代词数据库、动词数据库和名词数据库，将中文汉字中为代词、动词和名词属性的词语和成语分别存入相应的代词数据库、动词数据库和名词数据库；
建立语义框架数据库，所述语义框架数据库包括存入的词语组合方式及组合在一起对应的中文含义；
将语音数据识别为中文语句，将语句进行拆解并对应词库数据库和语义框架数据库，得到该语音数据中各个语句的语义。
于所述第一方面的一实施例中，还包括：
获取待测用户的个人信息，所述个人信息包括用户的基本信息、健康信息与投保信息；
根据待测用户的个人信息作为校验信息，以所述校验信息为准检测所述表单填写的个人信息是否正确；
当检测到所述表单内填写个人信息与校验信息不符时，根据所述校验信息修正表单内的个人信息。
于所述第一方面的一实施例中，所述表单包括主表单与子表单，所述主表单与子表单关联设置，当检测到主表单内填写相应执行方案时，根据每个所述主表单选择的执行方案调用相应类型的子表单进行字段填写。
本发明的第二方面提供一种基于语音识别生成表单的装置，包括：
语音获取模块，用于获取当前多人会话的语音数据；
语音识别模块，利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据；
时序提取模块，用于提取所述语音数据中各个语句的时序信息；
语句标记模块，用于检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；
会话匹配模块，利用自然语言处理技术识别多人会话对应的所述文本数据，选择特定会话者所说的文字内容；
表单生成模块，用于根据所述特定会话者的语义选择相应的表单类型，将所述特定会话者对应的文本信息按所述表单的格式进行字段填写，生成相应的表单。
本发明的第三方面提供一种基于语音识别生成表单的设备，包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现上述的基于语音识别生成表单的方法。
本发明的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使所述计算机执行上述的基于语音识别生成表单的方法。
如上所述，本发明所述的基于语音识别生成表单的方法、装置、设备及介质的一个技术方案，具有以下有益效果：
本发明能够在多人会话时，将语音数据转化成文本数据，利用会话时不同会话者的人声特征与会话者的时序信息对文本数据内不同语句进行标记，从而区分不同会话者所讲的语句，通过识别特定会话者所对应的语句，按照该特定会话者的语句语义自动匹配相应类型的表单，根据表单格式按照语句语义进行填写，进而自动生成表单，提高了表单生成效率与智能化程度。
附图说明
图1显示为本发明提供的一种基于语音识别生成表单的方法流程图；
图2显示为本发明提供的一种基于语音识别生成表单的装置结构框图；
图3显示为本发明提供的一种基于语音识别生成表单的设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明解决现有技术中医生问诊现场，需要每个医生额外配备一个助手，或，需要医生通过问诊后自己手动输入生成表单的现象，表单包括诊断单、检查单、药品单、理疗单等等，通过医生问诊后在逐一给每个病患开出表单，不仅效率低，还无法协助医生实现智能化诊断。特别是在多人交流，例如，问诊出现三五结群的沟通方式，传统的语音识别根本无法实现特定用户（会话者）的跟踪识别，更别说根据识别内容自动生成表单的技术问题。除了针对医生问诊现象外，本申请还能针对医院内其他治疗，例如，医生、护士在病房内巡视患者、以及手术室手术记录单等。
请参阅图1，为本发明提供的一种基于语音识别生成表单的方法流程图，包括：
步骤S1，获取当前多人会话的语音数据；
例如，利用麦克风、录音终端、或其他录音装置进行录音采集，当然，也可以使用其他录像设备，同步录取当前多人会话的语音数据与唇语图像数据。另外，上述装置或设备采集必须确保在可控采集范围，以保证语音数据的采集质量。
步骤S2，利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据；
其中，利用语音识别系统处理语音数据，例如，语音识别系统包括一个或多个计算机，所述一个或多个计算机被编程为：接收来自用的语音数据输入，确定语音数据转录文字，并将转录的文字作为输出。
步骤S3，提取所述语音数据中各个语句的时序信息；
其中，通过唇语识别图像内唇语的语句信息，由于唇语时序自带时序信息，即，在文本数据内语音识别的同一语句映射有时序信息，通过两者之间的映射关系得到各个语句的时序信息。当然，还可通过时间关键点触发，例如，特定用户在每次说话前，通过按钮触发，形成时序信息。
步骤S4，检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；
其中，确定语音数据中的人声数据，之后，确定该人声数据中包含的各滑窗数据，并针对每个人声数据中的每个滑窗数据，进行音频特征提取将提取到的音频特征输入语音分类模型中，确定该滑窗数据属于某个人声特征的概率。
步骤S5，利用自然语言处理技术识别多人会话对应的所述文本数据，选择特定会话者所说的文字内容；
其中，利用NLP技术处理文本数据得到各个语句的语义，同时，根据当前会话场景结合语义，判断各个语句应该是哪个会话者说出的。例如，在医患问诊会话时，以下“姓名”、“年龄”、“哪儿不舒服”、“从什么时候开始**”以及还有些医用技术术语等，从上述语句可判断特定会话者为医生，其对应的回答，可能有患者、家属等，在此不再列举。
步骤S6，根据所述特定会话者的语义选择相应的表单类型，将所述特定会话者对应的文本信息按所述表单的格式进行字段填写，生成相应的表单。
其中，根据各个语句的语义结合关键词选择相应类型的表单，将患者回答的问题、医生复述的患者状况以及医生所说的文字内容按照表单格式填写至表单，进而自动生成表单。
在本发明实施例中，相对于传统单个人语音识别方式，本申请适用于多人场景交流下的语音识别，其中，根据每个会话者的人声特征以及时序特征对语音识别后的文本数据进行标记，区分文本数据中不同语句所对应的会话者。按照该特定会话者的语句语义自动匹配相应类型的表单，根据表单格式按照语句语义进行填写，进而自动生成表单，提高了表单生成效率与智能化程度。
另外，还可以获取语音数据第一分段的第一候选转录文字；确定与该第一候选转录文字相关联的一个或多个场境；调整所述一个或多个场境中的每一个场境的相应权重；以及，基于调整后的权重来确定该语音数据的第二分段的第二候选转录文字。
例如，通过该方式，通过第一分段来看已经确认为医患诊断场景，使用基于语音数据的分段来调整场境的权重并且基于调整后的权重来确定该后续语音数据的转录文字，所以，使用该方式能够动态地提高识别性能，提高语音识别准确率。
在另一个实施例中，利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据的步骤，包括：
构建语音文字匹配模型库，基于所述模型库对RNN-T语音识别模型进行训练；
利用训练好的RNN-T语音识别模型将语音数据转化为文本数据。
所述RNN-T(RNN-Transducer)语音识别框架，其实际上是在CTC模型的一种改进，所述RNN-T模型巧妙的将语言模型声学模型整合在一起，同时进行联合优化，是一种理论上相对完美的模型结构；RNN-T模型引入了Transcription Net(可以使用任何声学模型的结构)，相当于声学模型部分，Prediction Net实际上相当于语言模型(可以使用单向的循环神经网络来构建)。同时，其最重要的结构就是联合网络，一般可以使用前向网络来进行建模，联合网络的作用就是将语言模型和声学模型的状态通过某种思路结合在一起，可以是拼接操作，也可以是直接相加等，考虑到语言模型和声学模型可能有不同的权重问题，似乎拼接操作更加合理一些；所述RNN-T模型具有端到端联合优化，具有语言模型建模能力，具有单调性，能够进行实时在线解码；相对于当前常用的GMM-HMM（隐马尔科夫模型）和DNN-HMM（深度神经网络），所述RNN-T模型具有训练速度快、准确率高的特点。
在另一些实施例中，所述提取所述语音数据中各个语句的时序信息的步骤，包括：
获取会话者的语音数据和其对应的唇部图像数据，其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息。
具体地，采用录像装置或摄像装置采集包含当前会话者的语音数据与其对应的唇部图像数据的目标视频，首先，从目标视频数据中分离出语音数据和图像序列，分离出的语音数据作为目标语音数据；然后，从分离出的图像序列中获取目标语音数据所涉及的每个说话人的唇部图像序列，目标语音数据所涉及的每个说话人的唇部图像序列作为目标语音数据对应的唇部图像数据。
例如，从该图像中获取该说话人的脸部区域图像，将该脸部区域图像缩放到预设的第一尺寸，最后以该说话人的唇部中心点为中心，从缩放后的脸部区域图像中截取预设的第二尺寸(比如80*80)的唇部图像。
需要说明的是，在对目标语音数据进行语音分离和识别时，结合了目标语音数据对应的唇部图像数据，在语音分离和识别时辅以唇部图像数据，使本提供的语音识别方法对噪声具有一定鲁棒性，且能够提升语音识别效果。
还需要说明的是，通过唇语时序间接获取到文本数据内每个语句的时序信息，能够更加精准的区分和标记各个会话者所对应的文本语句。
在另一些实施例中，还包括：
依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；
其中，将语音数据按累计时长分割为待测语音特征集，例如，两秒、三秒或五秒等，将待测语音特征集进行聚类处理，根据聚类评分得到不同人声特征的会话者所对应的语音特征集，进而区分不同会话者所说的文本语句。
在所述文本数据内按照人声特征与时序特征将各个语句进行标记区分，得到文本数据内不同会话者所对应的语句内容；
其中，结合人声特征与时序特征进行相互验证，确定每个语句标记的归属，例如，有两个人声特征，“医生和患者”，那么其对应的标签必定为“医生”和“患者”两个属性标记。通过将文本数据中不同语句进行区分，得到各个会话者所对应的语句内容。
利用自然语言处理技术识别所述文本数据内各个语句领域，结合上下文语境判断各个语句的语义，根据各个语句的语义以及标记选择特定会话者所说的文字内容。
在上述基础上，通过语句语义也能侧面佐证语句是否归属于对应的标记，进而落实文本数据中各个语句出自哪个会话者，同时，在生成报表数据时，结合语句语义与关键词对表单各个进行匹配，更能确保生成的表单准确性。
在另一些实施例中，还包括：
建立词库数据库，所述词库数据库包括代词数据库、动词数据库和名词数据库，将中文汉字中为代词、动词和名词属性的词语和成语分别存入相应的代词数据库、动词数据库和名词数据库；
其中，所述名词数据库中的名词进一步按不同服务领域进行分类存储，所述服务领域包括餐饮、医疗、购物、运动、住宿、交通等，在此优选医疗领域的名词数据库。
建立语义框架数据库，所述语义框架数据库包括存入的词语组合方式及组合在一起对应的中文含义；
将语音数据识别为中文语句，将语句进行拆解，拆解形式为：代词+动词+名词，并对应词库数据库和语义框架数据库，得到该语音数据中各个语句的语义。
例如，打开设备的摄像头，启动语音识别系统，通过语音识别系统采集用户输入的语音数据和面部视频；系统将语音数据识别为中文语句，然后将中文语句进行拆解，拆解形式为：代词+动词+名词，并对应词库数据库和语义框架数据库，得到该语音指令的中文语义。
又例如，语音语义与唇语进行匹配，若匹配结果有误，则区别显示表单内填写的字段，提示用户重新输入。通过语音语义识别和唇语识别的结果匹配相同，则在界面显示无误，同时让用户确认，待确认后，直接打印表单。通过二者的相互印证和补充，使得识别效果更好，也使得生成的表单准确率更高。
在另一些实施例中，所述表单包括主表单与子表单，所述主表单与子表单关联设置，当检测到主表单内填写相应执行方案时，根据每个所述主表单选择的执行方案调用相应类型的子表单进行字段填写。
例如，主表单为诊断单包括患者身份信息、诊断、症状、用药、以及注意事项等，子表单为检查单、药品单、理疗单，根据诊断单所选择的治疗手段相应调用子表单，即，诊断单完成时，对应的子表单也同时完成。所述主表单还可以为病历巡查单、手术记录单等，在此不再列举。
例如，在医院护士查房，需要填写体温、输液量、病人感觉这3个项目，原来是需要手写记录或者记录到本子上再通过电脑录入，使用本方法时，护士直接对终端说“XXX，体温38度6，感觉头疼，输液200ml”，识别护士的话语，将话语转换为文字信息；提取文字信息中的填单信息，与表单中的项目栏进行匹配，匹配成功后将信息填入表单中匹配的项目栏中，本终端采用语音识别后进行辅助填单，比传统的手写与计算机录入更方便。
其中，提取文字信息中的填单信息，将填单信息与表单中的项目栏进行匹配，可实施为：预先设置项目栏对应的填写内容的特征，可以是所包含的关键词、数值取值范围等；确定填单信息的相应特征；当项目栏对应的填写内容的特征与填单信息的特征匹配时，确定填单信息与表单中的项目栏匹配。
在另一些实施例中，还包括：
获取待测用户的个人信息，所述个人信息包括用户的基本信息、健康信息与投保信息；
根据待测用户的个人信息作为校验信息，以所述校验信息为准检测所述表单填写的个人信息是否正确；
当检测到所述表单内填写个人信息与校验信息不符时，根据所述校验信息修正表单内的个人信息。
在此需要说明的是，所述基本信息包括用户的性别、年龄、职业、婚姻状况等个人基本信息。健康信息包括健康状态、家族史、疾病史、生活方式、体检信息、保健方式、生活环境、心理状态、健康常识以及安全意识等方面，所述健康状态包括用户是否存在身体缺陷、是否存在先天疾病以及是否近视等信息。所述家族史包括用户的家族病史；所述疾病史包括用户的曾患疾病信息；所述生活方式包括用户的吸烟状况、饮酒状况、饮食习惯、运动习惯、睡眠习惯等生活信息。所述体检信息包括用户的体检信息，例如：心率、肝功能、血脂、尿常规、肾功能、肿瘤标志物等。所述保健方式包括疫苗接种情况、体检频率等信息。所述生活环境包括用户的饮用水情况、工作或生活中有害物质暴露情况等信息。所述心理状态包括用户的生活和工作压力情况。所述健康常识包括用户对疾病预防、健康管理等方面的常识信息的了解情况。所述安全意识包括用户在工作和生活中的安全意识，例如是否会疲劳驾驶、开车是否会系安全带、家中是否会安装烟雾感应器等。所述投保信息包括购买保险的种类与数量，保险种类分为定期寿险、定期生存、终身寿险、意外伤害、意外医疗、住院医疗、住院补贴和万能保险。
在本实施例中，通过从HIS（医院信息系统）获取用户的个人信息，根据选择表单的类型所需要填写的个人信息，即，以获取到用户的个人信息的为校验信息，检测表单内待测用户的个人信息是否与获取的个人信息相同，当通过语音识别填写表单的个人信息不同时，根据所述校验信息修正表单内的个人信息，防止自动生成的表单个人信息不符，避免出现医疗安全事故。
请参阅图2，为本发明提供的一种基于语音识别生成表单的装置结构框图，所述基于语音识别生成表单的装置详述如下：
语音获取模块1，用于获取当前多人会话的语音数据；
语音识别模块2，利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据；
时序提取模块3，用于提取所述语音数据中各个语句的时序信息；
语句标记模块4，用于检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；
会话匹配模块5，利用自然语言处理技术识别多人会话对应的所述文本数据，选择特定会话者所说的文字内容；
表单生成模块6，用于根据所述特定会话者的语义选择相应的表单类型，将所述特定会话者对应的文本信息按所述表单的格式进行字段填写，生成相应的表单。
还需要说明的是，基于语音识别生成表单的方法与基于语音识别生成表单的装置为一一对应的关系，在此，基于语音识别生成表单的装置所涉及的技术细节与技术效果和上述识别方法相同，在此不一一赘述，请参照上述基于语音识别生成表单的方法。
下面参考图3，其示出了适于用来实现本公开实施例的基于语音识别生成表单的设备(例如电子设备设备或服务器700的结构示意图。本公开实施例中的电子设备设备可以包括但不限于诸如手机、平板电脑、膝上型电脑、台式电脑、电脑一体机、服务器、工作站、电视、机顶盒、智能眼镜、智能手表、数码相机、MP4播放器、MP5播放器、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(VirtualReality，VR)播放器或增强现实(AugmentedReality，AR)播放器等的固定器。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：执行上述步骤S1到步骤S6的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明能够在多人会话时，将语音数据转化成文本数据，利用会话时不同会话者的人声特征与会话者的时序信息对文本数据内不同语句进行标记，从而区分不同会话者所讲的语句，通过识别特定会话者所对应的语句，按照该特定会话者的语句语义自动匹配相应类型的表单，根据表单格式按照语句语义进行填写，进而自动生成表单，提高了表单生成效率与智能化程度，有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (4)

1.一种基于语音识别生成表单的方法，其特征在于，包括：
获取当前多人会话的语音数据；
利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据；构建语音文字匹配模型库，基于所述模型库对RNN-T语音识别模型进行训练；
利用训练好的RNN-T语音识别模型将语音数据转化为文本数据；
提取所述语音数据中各个语句的时序信息；获取会话者的语音数据和其对应的唇部图像数据，其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息；
检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；
利用自然语言处理技术识别多人会话对应的所述文本数据，选择特定会话者所说的文字内容；其中，依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；在所述文本数据内按照人声特征与时序信息将各个语句进行标记区分，得到文本数据内不同会话者所对应的语句内容；利用自然语言处理技术识别所述文本数据内各个语句领域，结合上下文语境判断各个语句的语义，根据各个语句的语义以及标记选择特定会话者所说的文字内容；
其中，建立词库数据库，所述词库数据库包括代词数据库、动词数据库和名词数据库，将中文汉字中为代词、动词和名词属性的词语和成语分别存入相应的代词数据库、动词数据库和名词数据库；建立语义框架数据库，所述语义框架数据库包括存入的词语组合方式及组合在一起对应的中文含义；将语音数据识别为中文语句，将语句进行拆解并对应词库数据库和语义框架数据库，得到该语音数据中各个语句的语义；
根据所述特定会话者的语义选择相应的表单，将所述特定会话者对应的文本信息按所述表单的格式进行字段填写，生成相应的表单；所述表单包括主表单与子表单，所述主表单与子表单关联设置，当检测到主表单内填写相应执行方案时，根据每个所述主表单选择的执行方案调用相应类型的子表单进行字段填写；获取待测用户的个人信息，所述个人信息包括用户的基本信息、健康信息与投保信息；
根据待测用户的个人信息作为校验信息，以所述校验信息为准检测所述表单填写的个人信息是否正确；
当检测到所述表单内填写个人信息与校验信息不符时，根据所述校验信息修正表单内的个人信息。
2.一种基于语音识别生成表单的装置，其特征在于，包括：
语音获取模块，用于获取当前多人会话的语音数据；
语音识别模块，利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据；构建语音文字匹配模型库，基于所述模型库对RNN-T语音识别模型进行训练；利用训练好的RNN-T语音识别模型将语音数据转化为文本数据；
时序提取模块，用于提取所述语音数据中各个语句的时序信息，获取会话者的语音数据和其对应的唇部图像数据；其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息；
语句标记模块，用于检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；
会话匹配模块，利用自然语言处理技术识别多人会话对应的所述文本数据，选择特定会话者所说的文字内容；其中，依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；在所述文本数据内按照人声特征与时序信息将各个语句进行标记区分，得到文本数据内不同会话者所对应的语句内容；利用自然语言处理技术识别所述文本数据内各个语句领域，结合上下文语境判断各个语句的语义，根据各个语句的语义以及标记选择特定会话者所说的文字内容；
其中，建立词库数据库，所述词库数据库包括代词数据库、动词数据库和名词数据库，将中文汉字中为代词、动词和名词属性的词语和成语分别存入相应的代词数据库、动词数据库和名词数据库；建立语义框架数据库，所述语义框架数据库包括存入的词语组合方式及组合在一起对应的中文含义；将语音数据识别为中文语句，将语句进行拆解并对应词库数据库和语义框架数据库，得到该语音数据中各个语句的语义；
表单生成模块，用于根据所述特定会话者的语义选择相应的表单，将所述特定会话者对应的文本信息按所述表单的格式进行字段填写，生成相应的表单；所述表单包括主表单与子表单，所述主表单与子表单关联设置，当检测到主表单内填写相应执行方案时，根据每个所述主表单选择的执行方案调用相应类型的子表单进行字段填写；
表单校验模块，用于获取待测用户的个人信息，所述个人信息包括用户的基本信息、健康信息与投保信息；根据待测用户的个人信息作为校验信息，以所述校验信息为准检测所述表单填写的个人信息是否正确；当检测到所述表单内填写个人信息与校验信息不符时，根据所述校验信息修正表单内的个人信息。
3.一种基于语音识别生成表单的设备，其特征在于，包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1所述的基于语音识别生成表单的方法。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使计算机执行权利要求1所述的基于语音识别生成表单的方法。
CN202110922780.5A 2021-08-12 2021-08-12 基于语音识别生成表单的方法、装置、设备及介质 Active CN113380234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110922780.5A CN113380234B (zh) 2021-08-12 2021-08-12 基于语音识别生成表单的方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110922780.5A CN113380234B (zh) 2021-08-12 2021-08-12 基于语音识别生成表单的方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113380234A CN113380234A (zh) 2021-09-10
CN113380234B true CN113380234B (zh) 2021-12-17

Family

ID=77576942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110922780.5A Active CN113380234B (zh) 2021-08-12 2021-08-12 基于语音识别生成表单的方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113380234B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462364B (zh) * 2022-02-07 2023-01-31 北京百度网讯科技有限公司 录入信息的方法和装置
CN115034186A (zh) * 2022-08-15 2022-09-09 北京永洪商智科技有限公司 一种基于数据处理的报表生成方法及系统
CN115829296B (zh) * 2023-02-03 2023-06-16 蜀道投资集团有限责任公司 施工状态信息调整方法、设备和介质
CN116663509B (zh) * 2023-08-02 2023-09-29 四川享宇科技有限公司 一种银行业复杂系统的信息自动获取填入机器人
CN117316165B (zh) * 2023-11-27 2024-02-20 深圳云盈网络科技有限公司 一种基于时序的会议音频分析处理方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074236B (zh) * 2010-11-29 2012-06-06 清华大学 一种分布式麦克风的说话人聚类方法
US9996517B2 (en) * 2015-11-05 2018-06-12 Lenovo (Singapore) Pte. Ltd. Audio input of field entries
CN107679042B (zh) * 2017-11-15 2021-02-05 北京灵伴即时智能科技有限公司 一种面向智能语音对话系统的多层级对话分析方法
CN107845422A (zh) * 2017-11-23 2018-03-27 郑州大学第附属医院 一种基于多模态线索融合的远程会诊会话理解与摘要方法
CN107832283B (zh) * 2017-11-27 2021-02-09 合光正锦（盘锦）机器人技术有限公司 一种基于语音识别的辅助填单方法及系统
CN111243596A (zh) * 2020-01-08 2020-06-05 中保车服科技服务股份有限公司 基于语音识别的保险信息获取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113380234A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113380234B (zh) 基于语音识别生成表单的方法、装置、设备及介质
US11942194B2 (en) Systems and methods for mental health assessment
US20210110895A1 (en) Systems and methods for mental health assessment
CN110675951A (zh) 智能化的疾病诊断方法及装置、计算机设备与可读介质
CN109697283A (zh) 用于生成患者-健康护理提供者对话的文字记录的方法和系统
US20120021390A1 (en) Method and system for developing language and speech
CN112802575A (zh) 基于图形状态机的用药决策支持方法、装置、设备、介质
CN112331298A (zh) 开具药方的方法、装置、电子设备及存储介质
WO2016092103A1 (en) Device, system and method for assessing information needs of a person
US20220189486A1 (en) Method of labeling and automating information associations for clinical applications
CN111816278A (zh) 一种通过增强现实模拟治疗过程并分析依从性的系统及方法
JP2006120136A (ja) 言語処理装置、言語処理方法、言語処理プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
TWM601596U (zh) 醫師診間智慧輔助診斷系統
JP2021135960A (ja) 情報処理装置、情報処理方法、及びプログラム
Rykova et al. AphaDIGITAL–Digital Speech Therapy Solution for Aphasia Patients with Automatic Feedback Provided by a Virtual Assistant
CN115376519A (zh) 一种生成电子病历的方法、设备和计算机可读存储介质
CN110767282B (zh) 一种健康档案生成方法、装置以及计算机可读存储介质
JP2022139613A (ja) 医用情報処理装置及び医用情報処理システム
EP3664100A1 (en) Associating non-verbal communication content with verbal communication content
CN111986820A (zh) 健康咨询信息的处理方法、装置和电子设备
Thompson et al. Methodological insights for the study of communication in health
Nasir et al. SPEESH: speech-based mobile application for dysarthric speech recognition
CN116913450B (zh) 一种实时生成病历的方法及装置
CN116631597B (zh) 一种移动端、医生端、护士端就近身份信息比对确认方法
US20240177730A1 (en) Intelligent transcription and biomarker analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220719

Address after: 201615 room 1904, G60 Kechuang building, No. 650, Xinzhuan Road, Songjiang District, Shanghai

Patentee after: Shanghai Mingping Medical Data Technology Co.,Ltd.

Address before: 102400 no.86-n3557, Wanxing Road, Changyang, Fangshan District, Beijing

Patentee before: Mingpinyun (Beijing) data Technology Co.,Ltd.