CN114496150A - 医疗信息交互系统及其控制方法 - Google Patents

Abstract

本发明提供了一种医疗信息交互系统及其控制方法。医疗信息交互系统，用于对患者的病历信息进行录入，包括：语音识别单元，用于对语音信息进行采集识别，包括语音采集装置；图像识别单元，用于对图像信息进行采集识别，包括图像识别单元；控制单元分别与所述语音识别单元和所述图像识别单元控制连接，所述中央处理模块对所述语音信息和所述图像信息中存在的文本信息进行提取降噪，并对所述文本信息中的关键词进行提取，以根据所述关键词对所述文本信息中的内容进行分段整理，获取对应所述患者的病历信息。本发明的医疗信息交互系统可实现病历信息的快速录入，并提升病历信息的完整性和准确性。

Description

医疗信息交互系统及其控制方法

技术领域

本发明涉及智能医疗设备领域，尤其涉及一种医疗信息交互系统及其控制方法。

背景技术

目前，医疗过程中病人信息、病历信息、问询信息等病历信息的录入主要依赖于电脑，通过键盘手动进行录入；而对于选择性的录入内容，主要是通过鼠标点击选择，对于选项繁多的情况，这种方式的录入效率较为低下。

同时，由于病历信息的录入需要时间，在进行问诊的同时进行病历信息的录入，将导致单个病人的诊断时间过长，影响看诊效率；而在问诊之后对病历信息进行录入，则容易导致问询信息的遗漏，在二次问诊过程中容易产生偏差。进一步的，目前的病人进行影像检查后，如X射线检查、B超检查、CT检查，影像设备的检查结果通常独立显示，无法在病历信息中体现，致使病历信息无法全面覆盖检查结果，对病人了解情况或医生的二次检查检测带来了极大的不方便性，在降低医务工作者的工作效率的同时，对后续的问诊工作的开展造成了不便。

有鉴于此，确有必要提出一种医疗信息交互系统，以解决上述问题。

发明内容

本发明的目的在于提供一种医疗信息交互系统及该医疗信息交互系统的控制方法，以实现病历信息的快速录入，并提升病历信息的完整性和准确性。

为实现上述发明目的，本发明提供了一种医疗信息交互系统，用于对患者的病历信息进行录入，包括：语音识别单元，用于对语音信息进行采集识别，包括语音采集装置和语音唤醒装置，所述语音唤醒装置用于设定并接收唤醒信息，并根据所述唤醒信息启动所述语音采集装置进行所述语音信息的采集；图像识别单元，用于对图像信息进行采集识别，包括图像识别单元；控制单元，包括中央处理模块，所述中央处理模块分别与所述语音识别单元和所述图像识别单元控制连接，以接收所述语音识别单元采集的所述语音信息和所述图像识别单元采集的所述图像信息单元，所述中央处理模块对所述语音信息和所述图像信息中存在的文本信息进行提取降噪，并所述文本信息中的关键词进行提取，以根据所述关键词对所述文本信息中的内容进行分段整理，获取对应所述患者的病历信息。

作为本发明的进一步改进，所述控制单元还包括显示模块以及与所述显示模块控制连接的更改确认模块，所述显示模块用于对所述病历信息进行展示，医生可通过所述显示模块对所述病历信息进行检查，并通过所述更改确认模块对所述病历信息进行修改、确认。

作为本发明的进一步改进，所述显示模块为语音播报模块，所述语音播报模块可对所述病历信息进行播报，所述更改确认模块为与所述语音播报模块对应设置的语音控制更改模块，且医生可通过所述语音控制更改模块对所述语音播报模块正在播报的所述病历信息进行实时的更改、确认。

作为本发明的进一步改进，所述显示模块还包括与所述语音播报模块对应设置的视图显示模块，所述语音播报模块和所述视图显示模块均独立于所述控制单元设置，且所述视图显示模块可独立对所述病历信息进行显示，或与所述语音播报模块同步对所述病历信息进行展示。

作为本发明的进一步改进，所述语音控制更改模块还包括与所述视图显示模块对应设置的手动控制更改模块，所述手动控制更改模块与所述中央处理模块连接，医生可通过所述手动控制更改模块对所述视图显示模块和/或所述语音播报模块显示播报的病历信息进行实时更改确认。

作为本发明的进一步改进，所述关键词由集成在所述控制单元中的关键词提取模块，所述关键词提取模块用于关键词信息的录入和关键词信息的提取，以通过提取的所述关键词对所述语音信息进行分段处理。

作为本发明的进一步改进，所述图像识别单元包括用于连接医疗影像装置的图像获取模块以及集成在所述中央处理模块中的识别模块，所述图像获取模块可自所述医疗影像装置获取检测过程中的医疗检测图像，所述识别模块可对所述医疗检测图像中的检查指标进行提取，并作为所述病历信息的一部分进行存储。

作为本发明的进一步改进，所述图像识别单元还包括与所述控制单元连接的图像截取装置，所述图像截取装置可对所述医疗影像装置获取的所述医疗检测图像进行选取，以获取携带有检查指标的目标检测图像。

为实现上述发明目的，本发明还提供了一种医疗信息交互系统的控制方法200，包括以下步骤：S1、语音采集装置对医生检测过程中语音信息进行提取；S2、中央处理模块对所述语音信息中的文本信息进行降噪提取；S3、关键词提取模块所述文本信息中的关键词进行提取，以根据所述关键词对所述文本信息中的内容进行分段整理；S4、显示模块对所述文本信息的内容进行显示播报，医生通过更改确认模块对所述显示模块显示播报的所述文本信息进行检查确认，获取初步病历信息；S5、图像识别单元用于连接并采集医疗影像装置采集获取的医疗检测图像，并对所述医疗检测图像中的检查指标进行提取，以对所述初步病历信息进行补充或修正；S6、医生再次通过所述更改确认模块对补充或修正过的所述初步病历信息进行检查确认，以最终获取对应患者的病历信息。

作为本发明的进一步改进，所述步骤S2还包括根据病人和患者的声纹对所述语音信息中的患者语音进行分类、筛选。

本发明的有益效果是：本发明的医疗信息交互系统通过设置与控制单元连接的语音识别单元和图像识别单元，一方面可通过语音识别单元对医生对患者进行的问诊信息及医嘱信息开具时的语音信息进行提取、降噪，另一方面可通过图像识别单元对患者进行医疗影像检测时的医疗影像信息进行采集，同时，将医疗影像信息中的文字结果进行识别整合成为文字信息，对通过语音识别获取的语音信息进行补充，以最终获取对应病患的病历信息，避免了人工进行病历信息的录入造成的时间成本的提升和信息的遗漏，提升了患者病历信息获取的完整性和准确性。而更改确认模块的设置则可方便医生对获取的病历信息进行检查确认，有效提升了患者病历信息录入的准确性。

附图说明

图1是本发明医疗信息交互系统的结构框图。

图2是图1中语音识别单元的结构框图。

图3是本发明医疗信息交互系统的控制方法的流程框图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

在此，需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

另外，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

请参阅图1所示，为本发明提供的一种医疗信息交互系统100，用于对患者的病历信息进行录入和导出。医疗信息交互系统100包括语音识别单元1、与语音识别单元1配合设置的图像识别单元2以及分别与语音识别单元1、图像识别单元2控制连接的控制单元3。

语音识别单元1用于对医生对患者进行问诊时的语音信息进行采集识别，在本发明中，语音信息至少包括患者的身份信息、患者的疾病发生、发展、转归，医生进行检查、诊断时语音。

语音识别单元1包括与控制单元3控制连接的语音采集装置11、语音辨认装置12以及语音唤醒装置13。语音采集装置11用于以对医生问诊过程中的语音信息进行采集，在本发明的一较佳实施例中，语音采集装置11为与控制单元3分体设置的降噪麦克风，进一步的，语音采集装置11采用有线/无线的方式与控制单元3通信连接，以将采集到的语音信息传递至控制单元中进行处理；具体的，当语音采集装置11采用有线通信的方式与控制单元3连接时，语音采集装置11和控制单元3中均设有有线连接接口，且有线通信方式包括HPLC、PLC、RS485、LAN、CAN、和Profibus等通信方式中的至少一种；而当语音采集装置11采用无线通信的方式与控制单元3连接时，语音采集装置11和控制单元3中均集成有无线连接模块，且无线通信方式包括4G、5G、WIFI、BLE、ZigBee、NB-IoT和LoRa等通信方式中的至少一种。优选的，语音采集装置11为头戴式或者领夹式的降噪麦克风，如此设置可方便医生将语音采集装置11安放在与嘴部较近的位置，在距离上隔离了外界环境对语音采集的影响，避免接收错误的语音信息。

请参阅图2所示，语音辨认装置12，用于对语音采集装置11采集获取的语音信息进行辨认处理，去除语音采集装置11采集过程中的杂音。本发明中，语音辨认装置12包括语音辨认模块121和语意理解模块122。具体的，语音辨认模块121用于对语音采集装置11采集的语音信息进行初步降噪，去除语音信息中的环境声，并将语音信息转换为字符串信息；进一步的，语音辨认模块121还可用于执行降噪算法，以对初步降噪后的语音信息进行再次降噪，以进一步保证获取的字符串信息的准确性。

语意理解模块122与语音识别模块121相连，以对字符串信息进行语意识别，以使得语音信息转换为具有具体语言含义的字符串数据且可被控制单元3译出，得到语音识别的文本结果。

语音唤醒装置13用于唤醒语音采集装置11进行语音信息的采集。具体的，语音唤醒装置13与控制单元3控制连接，以直接或通过控制单元3进行唤醒信息的设定，并进一步直接或通过控制单元3对语音采集装置11进行唤醒，开始进行语音信息的采集。在本发明中，唤醒信息可以为关键短语信息、音纹信息或语音模型信息等常规的用于进行语音识别的信息。当唤醒信息为关键短语信息时，当且仅当语音采集装置11接收到语音信息，且语音信息可与语音唤醒装置13直接或间接设定的关键短语信息匹配时，语音采集装置11开始进行语音信息的采集。当唤醒信息语音模型信息时，语音唤醒装置13还可用于进行人声模型训练，通过该人声模型训练可建立对应医生声音的模型，如此设置当语音唤醒装置13识别到外界声音与人声模型之间不匹配时，则控制语音采集装置11不对语音信息进行采集。

需要说明的是，本发明中语音识别单元1中语音采集装置11、语音辨认装置12以及语音唤醒装置13的具体设置形式和结果仅是示例性的，在本发明的其他实施例中，语音识别单元1还可包括现有技术中常见的其它用于进行语音处理的装置/模块，本领域的技术人员可根据实际需要进行选择，于此不与限制。

图像识别单元2用于对图像信息进行采集识别，在本发明中，图像信息包括通过医疗影像设备获取的医疗检测图像、医生手写的纸质病例的电子扫描件/照片等医疗过程中常见的用于记录或承载医疗检测中间结果或信息的图像材料。图像识别单元2包括用于连接医疗影像装置(如X射线、CT、OCT、B超)的图像获取模块21以及集成在控制单元3中的识别模块22。

具体的，图像获取模块21可与医疗影像装置通讯连接，以自医疗影像装置中获取检测过程中的医疗检测图像，在本发明中，图像获取模块21通过无线通讯的方式与医疗影像装置连接，以对存储在医疗影像装置中的医疗检测图像进行采集，如此设置，可有效减小图像获取模块21的体积，同时，医疗检测图像为在医疗影像装置中进行筛选后的目标医疗检测图像，以减少图像识别单元2识别检测的医疗检测图像的数量，提升图像识别单元2的图像处理速度。

进一步的，图像获取模块21还可对电子扫描件/照片中的图像信息进行筛选采集，此时，图像获取模块21可直接连接在暂存有相应的电子扫描件/照片的电子设备进行连接，并通过电子设备完成电子扫描件/照片的筛选通过图像获取模块21进行目标电子扫描件/照片的采集。

优选的，图像获取模块21与控制单元3分体设置，通过无线通讯的方式与控制单元3通讯连接，以方便图像获取模块21移动获取相应的图像信息，当然在本发明的其他实施例中，图像获取模块21还可与控制单元3一体设置，即图像获取模块21与控制单元3的连接形式可根据实际需要进行选择。

识别模块22用于对医疗检测图像中的检查指标、电子扫描件/照片中病历信息进行提取，并作为病历信息的一部分进行存储。具体的，识别模块22为用于执行OCR文字识别的图像中的文字信息识别的识别构件。本发明中，识别模块22通过连通区域分析、MSER(最大稳定极值区域检测)对图像信息中的文字区域定位；此后，通过旋转、仿射变换对图像信息中的文字进行校正，最后通过二值化、过滤噪声等方法对文字进行分割，完成图像信息中的图像准备处理。识别模块22还可直接或通过控制装置3间接的进行图像识别模型的建立，以对采集的图片中的文字进行定位和识别，进一步实现对图像的处理，完成图像信息中图像准备处理。

图像识别单元2包括与控制单元3连接的图像截取装置23，图像截取装置23可对医疗影像装置获取的医疗检测图像进行选取，以获取携带有检查指标的目标检测图像。在本发明的一较佳实施例中，图像截取装置23为控制踏板，医生可通过踩踏控制踏板对进行医疗检测图像进行选定，进一步的，通过踩踏控制踏板的对应位置或控制踩踏压力/次数，对医疗检测图像中的位置进行选定并保存，以将选定的图像部分传递至识别模块22中对选定的图像部分中包含的文字进行提取，作为病例信息的一部分进行存储，优选的，控制踏板中集成有图像采集卡，且控制踏板可通过设置在医疗影像装置中的VGA接口、HDMI信号接口等与医疗影像装置连接，进一步的，图像采集卡可实时捕获医疗影像装置的输出信号，并根据医生主动踩踏控制踏板触发生成图像，以传递至识别模块22进行实时图像的采集识别，并进行后续的图像文字识别。

控制单元3用于语音识别单元1和图像识别单元2采集获取的语音信息和图像信息进行汇总、整理，形成完整的病例。在本发明中，控制单元3包括中央处理模块31，中央处理模块31分别与语音识别单元1和图像识别单元2控制连接，以接收语音识别单元采集1的语音信息和图像识别单元2采集的图像信息，中央处理模块31对语音信息和图像信息中存在的文本信息进行提取降噪，并对文本信息中的关键词进行提取，以根据关键词对文本信息中的内容进行分段整理，并按照预设的病例框架与关键词信息进行匹配，进以对对应该关键词信息的文本信息进行归纳，获取对应患者的病历信息。

病例框架为由医生根据实际需要输入设定的文本框架信息，病例框架信息至少包括用于进行患者身份展示的身份信息部分、用于进行患者疾病发展过程展示的问询部分以及用于对患者的诊断和检查结果进行展示的结果部分，进一步的，中央处理模块31还用于对关键词信息和身份信息部分、问询部分以及结果部分进行匹配，以使得中央处理模块31可根据关键词信息的将获取的文本信息进行病例框架信息的匹配，实现病例的获取。

当然在本发明其他实施例中，医疗信息交互系统100还可直接与预存有医疗病例模板的医疗病例模板管理系统进行通讯连接，以直接调用医疗病例模板管理系统中的各类医疗病例模板，并根据实际需要进行医疗病例模板的选择和修改。

进一步的，控制单元3还包括关键词提取模块32集成在控制单元3中以用于关键词信息的录入和关键词信息的提取。具体的，关键词信息的录入包括对病例信息中常见的关键词进行录入，且录入的关键词与病例框架中的病例框架信息对应设置。关键词提取模块32还可用于根据录入的关键词信息进行相似或相近的关键词的拓展，以避免由于关键词信息的遗漏造成的语音信息和/或图像信息中信息提取不全，中央处理模块31通过提取的关键词对语音信息进行分段处理，以匹配病例框架信息进行病历信息的分类、分段处理。在本发明的一较佳实施例中，关键词提取模块32还可用于执行神经网络模型，神经网络模型可对采集的病例信息/语音信息进行分类筛选，进一步的，当神经网络模型检测到病例信息/语音信息与关键词信息正则匹配，则关键词提取模块32运行自然语言处理算法并进行智能分析，以分析医生说出的病例信息/语音信息的意图，进一步的将对应的内容匹配在病例框架的相应位置。

控制单元3还包括显示模块33以及与显示模块33控制连接的更改确认模块34，显示模块33用于对病历信息进行展示，医生可通过显示模块33对病历信息进行检查，并通过更改确认模块34对病历信息进行修改、确认。

在本发明的一较佳实施例中，显示模块33为语音播报模块331，语音播报模块331可对采集获取的病历信息进行播报，具体的，语音播报模块331用于将语音识别单元1、图像识别单元2采集的语音信息和图像信息进行语音合成，以将文字信息转换为语音信息进行语音播报，在语音播报模块331进行病历信息的播报过程中更改确认模块34可对病例信息进行修改调整；具体的，本实施例中的更改确认模块34为与语音播报模块331对应设置的语音控制更改模块341，且医生可通过语音控制更改模块341对正在播报的病例信息进行实时播报暂停、并通过语音进行更改、确认。优选的，语音播报模块331为可用于运行text tospeech，即tts语音合成的语音合成模块，此时语音播报模块331可通过神经网络的设计，把文字智能地转化为自然语音流实现文本文件到语音文件的实时转换，进一步的，语音的合成可通过聘请专业的播音员进行语音的录制，进一步的将录制的音频资料与语音文件进行匹配，以在集成在语音播报模块331中的语音控制器作用下，进行文本的输出，使得听者在听取信息时感觉自然。

在本发明另一较佳实施例中，显示模块33还包括与语音播报模块331对应设置的视图显示模块332，语音播报模块331和视图显示模块332均独立于控制单元设置3，且视图显示模块332可独立对由文本信息进行构成的病历信息进行显示，或与语音播报模块331同步对病历信息进行展示；进一步的，更改确认模块34还包括与视图显示模块332对应设置的手动控制更改模块342，手动控制更改模块342与中央处理模块31连接，医生可通过手动控制更改模块342对视图显示模块332和/或语音播报模块331显示播报的病历信息进行实时更改确认。

请参阅图3所示，为本发明提供的一种医疗信息交互系统的控制方法200。医疗信息交互系统的控制方法200包括以下步骤：

S1、语音采集装置11对医生检测过程中语音信息进行提取；

S2、中央处理模块31对语音信息中的文本信息进行降噪提取；

S3、关键词提取模块32对文本信息中的关键词进行提取，以根据关键词对文本信息中的内容进行分段整理；

S4、显示模块33对文本信息的内容进行显示播报，医生通过更改确认模块34对显示模块33显示播报的文本信息进行检查确认，获取初步病历信息；

S5、图像识别单元用于连接并采集医疗影像装置采集获取的医疗检测图像，并对医疗检测图像中的检查指标进行提取，以对初步病历信息进行补充或修正；

S6、医生再次通过更改确认模块34对补充或修正过的初步病历信息进行检查确认，以最终获取对应患者的病历信息。

具体的，步骤S2还包括根据医生和患者的声纹信息对语音信息中的患者语音进行分类，如此设置，可方便对提取的语音信息进行分类、筛选，即将医生的问询过程和患者的回复过程进行区分，防止语音信息获取过程中出现混乱。

综上所述，本发明的医疗信息交互系统100通过设置与控制单元3连接的语音识别单元1和图像识别单元2，一方面可通过语音识别单元1对医生对患者进行的问诊信息及医嘱信息开具时的语音信息进行提取、降噪，另一方面可通过图像识别单元2对患者进行医疗影像检测时的医疗影像信息进行采集，同时，将医疗影像信息中的文字结果进行识别整合成为文字信息，对通过语音识别获取的语音信息进行补充，以最终获取对应病患的病历信息，避免了人工进行病历信息的录入造成的时间成本的提升和信息的遗漏，提升了患者病历信息获取的完整性和准确性。而更改确认模块34的设置则可方便医生对获取的病历信息进行检查确认，有效提升了患者病历信息录入的准确性。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种医疗信息交互系统，用于对患者的病历信息进行录入，其特征在于，包括：

语音识别单元，用于对语音信息进行采集识别，包括语音采集装置和语音唤醒装置，所述语音唤醒装置用于设定并接收唤醒信息，并根据所述唤醒信息启动所述语音采集装置进行所述语音信息的采集；

图像识别单元，用于对图像信息进行采集识别，包括采集识别模块；

控制单元，包括中央处理模块，所述中央处理模块分别与所述语音识别单元和所述图像识别单元控制连接，以接收所述语音识别单元采集的所述语音信息和所述图像识别单元采集的所述图像信息，所述中央处理模块对所述语音信息和所述图像信息中存在的文本信息进行提取降噪，并对所述文本信息中的关键词进行提取，以根据所述关键词对所述文本信息中的内容进行分段整理，获取对应所述患者的病历信息。

2.根据权利要求1所述的医疗信息交互系统，其特征在于：所述控制单元还包括显示模块以及与所述显示模块控制连接的更改确认模块，所述显示模块用于对所述病历信息进行展示，医生可通过所述显示模块对所述病历信息进行检查，并通过所述更改确认模块对所述病历信息进行修改、确认。

3.根据权利要求2所述的医疗信息交互系统，其特征在于：所述显示模块对所述病历信息进行播报的语音播报模块，所述更改确认模块为与所述语音播报模块对应设置的语音控制更改模块，且医生可通过所述语音控制更改模块对所述语音播报模块正在播报的所述病历信息进行实时的更改、确认。

4.根据权利要求3所述的医疗信息交互系统，其特征在于：所述显示模块还包括与所述语音播报模块对应设置的视图显示模块，所述语音播报模块和所述视图显示模块均独立于所述控制单元设置，且所述视图显示模块可独立对所述病历信息进行显示，或与所述语音播报模块同步对所述病历信息进行展示。

5.根据权利要求4所述的医疗信息交互系统，其特征在于：所述语音控制更改模块还包括与所述视图显示模块对应设置的手动控制更改模块，所述手动控制更改模块与所述中央处理模块连接，医生可通过所述手动控制更改模块对所述视图显示模块和/或所述语音播报模块显示播报的病历信息进行实时更改确认。

6.根据权利要求1所述的医疗信息交互系统，其特征在于：所述关键词由集成在所述控制单元中的关键词提取模块，所述关键词提取模块用于关键词信息的录入和关键词信息的提取，以通过提取的所述关键词对所述语音信息进行分段处理。

7.根据权利要求1所述的医疗信息交互系统，其特征在于：所述图像识别单元包括用于连接医疗影像装置的图像获取模块以及集成在所述中央处理模块中的识别模块，所述图像获取模块可自所述医疗影像装置获取检测过程中的医疗检测图像，所述识别模块可对所述医疗检测图像中的检查指标进行提取，并作为所述病历信息的一部分进行存储。

8.根据权利要求7所述的医疗信息交互系统，其特征在于：所述图像识别单元还包括与所述控制单元连接的图像截取装置，所述图像截取装置可对所述医疗影像装置获取的所述医疗检测图像进行选取，以获取携带有检查指标的目标检测图像。

9.一种医疗信息交互系统的控制方法，其特征在于，包括以下步骤：

S1、语音采集装置对医生检测过程中语音信息进行提取；

S2、中央处理模块对所述语音信息中的文本信息进行降噪提取；

S3、关键词提取模块所述文本信息中的关键词进行提取，以根据所述关键词对所述文本信息中的内容进行分段整理；

S4、显示模块对所述文本信息的内容进行显示播报，医生通过更改确认模块对所述显示模块显示播报的所述文本信息进行检查确认，获取初步病历信息；

S5、图像识别单元用于连接并采集医疗影像装置采集获取的医疗检测图像，并对所述医疗检测图像中的检查指标进行提取，以对所述初步病历信息进行补充或修正；

S6、医生再次通过所述更改确认模块对补充或修正过的所述初步病历信息进行检查确认，以最终获取对应患者的病历信息。

10.根据权利要求9所述的医疗信息交互系统的控制方法，其特征在于：所述步骤S2还包括根据病人和患者的声纹对所述语音信息中的患者语音进行分类、筛选。

Images