CN109785977A - 自动化信息录入方法、系统、装置及存储介质 - Google Patents
自动化信息录入方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN109785977A CN109785977A CN201811553760.XA CN201811553760A CN109785977A CN 109785977 A CN109785977 A CN 109785977A CN 201811553760 A CN201811553760 A CN 201811553760A CN 109785977 A CN109785977 A CN 109785977A
- Authority
- CN
- China
- Prior art keywords
- patient
- identified
- video
- inspection
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000007689 inspection Methods 0.000 claims abstract description 51
- 239000000284 extract Substances 0.000 claims abstract description 37
- 230000036651 mood Effects 0.000 claims abstract description 28
- 238000005516 engineering process Methods 0.000 claims abstract description 25
- 238000003058 natural language processing Methods 0.000 claims abstract description 25
- 230000002452 interceptive effect Effects 0.000 claims abstract description 20
- 230000001815 facial effect Effects 0.000 claims abstract description 16
- 201000010099 disease Diseases 0.000 claims abstract description 14
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 14
- 229940079593 drug Drugs 0.000 claims abstract description 13
- 239000003814 drug Substances 0.000 claims abstract description 13
- 208000024891 symptom Diseases 0.000 claims abstract description 13
- 230000014509 gene expression Effects 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 235000013399 edible fruits Nutrition 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Abstract
本发明涉及人工智能技术领域，提供一种自动化信息录入方法、系统、装置及存储介质，其中的方法包括：获取医患问答的音频，利用自动语音识别技术和自然语言处理技术对音频进行处理，提取患者的主诉信息，主诉信息包括患者相关的症状、疾病史、用药史；获取医患问答的视频，利用面部识别技术对视频进行处理，提取患者的身体状态、精神状态、情绪；利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标；将提取到的患者的主诉信息、身体状态、精神状态、情绪以及检验检查指标，显示在与医生的交互界面，并作为备选，以方便直接点击录入临床决策支持系统。利用本发明，能够解决临床决策支持系统难以推广的问题。
Description
技术领域
本发明涉及人工智能技术领域，更为具体地，涉及一种基于语音和图像提取的自动化信息录入方法、系统、装置及存储介质。
背景技术
目前市面上的临床决策支持系统，均需要对接于医院内部的HIS系统(HospitalInformation System，医院信息系统)。除了HIS系统中的病人信息以外，医生还需要手动输入患者的其他更多信息，才能得到临床决策支持系统提供精准的决策建议。这样的流程设计增加了医生的工作量，导致医生使用临床决策支持系统的意愿低，而且临床决策系统和HIS集成的工作量大，限制了临床决策系统的实施推广。
其中，临床决策支持系统(Clinical Decision Support System，CDSS)，一般指凡能对临床决策提供支持的计算机系统，这个系统充分运用可供利用的、合适的计算机技术，针对半结构化或非结构化医学问题，通过人机交互方式改善和提高决策效率。
发明内容
鉴于上述问题，本发明的目的是提供一种自动化信息录入方法、系统、装置及存储介质，以解决临床决策支持系统难以推广的问题。
第一方面，本发明提供一种自动化信息录入方法，应用于电子装置，包括：
获取医患问答的音频，利用自动语音识别技术和自然语言处理技术对音频进行处理，提取患者的主诉信息，主诉信息包括患者相关的症状、疾病史、用药史；
获取医患问答的视频，利用面部识别技术对视频进行处理，提取患者的身体状态、精神状态、情绪；
利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标；
将提取到的患者的主诉信息、身体状态、精神状态、情绪以及检验检查指标，显示在与医生的交互界面，并作为备选，以方便直接点击录入临床决策支持系统。
第二方面，本发明还提供一种自动化信息录入系统，包括：
音频提取单元，用于获取医患问答的音频，利用自动语音识别技术和自然语言处理技术对音频进行处理，提取患者的主诉信息，主诉信息包括患者相关的症状、疾病史、用药史；
视频提取单元，用于获取医患问答的视频，利用面部识别技术对视频进行处理，提取患者的身体状态、精神状态、情绪；
单据提取单元，用于利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标；
交互界面显示单元，用于将提取到的患者的主诉信息、身体状态、精神状态、情绪以及检验检查指标，显示在与医生的交互界面，并作为备选，以方便直接点击录入临床决策支持系统。
第三方面，本发明还提供一种电子装置，该电子装置包括：存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现如上述自动化信息录入方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质中包括计算机程序，计算机程序被处理器执行时，实现如上述自动化信息录入方法的步骤。
从上面的技术方案可知，本发明提供的自动化信息录入方法、系统、装置及存储介质，通过利用自动语音识别技术和自然语言处理技术对音频进行处理，提取患者的主诉信息；利用面部识别技术对视频进行处理，提取患者的身体状态、精神状态、情绪；利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标，从音频、视频和检验检查结果中得到的这些信息，显示在与医生的交互界面，作为备选，方便医生直接点击录入临床决策支持系统。采用本发明的这种自动化信息录入方法，能够取得以下有益效果：
1)能够减轻医生的工作量，提高临床决策支持系统的使用率；
2)能够全面记录患者信息，为临床决策支持系统给出精准决策和推荐提供保障；
3)独立于医院HIS系统，方便临床决策支持系统的推广。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的自动化信息录入方法流程图；
图2为根据本发明实施例的提取患者的主诉信息的流程示意图；
图3为根据本发明实施例的利用面部识别技术对视频进行处理的流程示意图；
图4为根据本发明实施例的提取患者的检验检查指标流程示意图；
图5为根据本发明实施例的自动化信息录入系统逻辑结构框图；
图6为根据本发明实施例的电子装置逻辑结构示意图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。
本发明实施例可以应用于计算机系统/服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器等电子设备可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。
以下将结合附图对本发明的具体实施例进行详细描述。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
实施例1
本发明应用场景为从患者与医生的问诊提取出与诊断、治疗方案相关的信息，方便医生将患者信息录入临床决策支持系统，从而得到决策建议。从问诊过程中，从医患对话的音频中提取患者的主诉信息；从医患对话的视频中提取患者的身体状态、精神状态、情绪；从检验检查单据中提取患者的检验检查指标，将获取的这些患者的信息，自动录入到临床决策支持系统中。
为了说明本发明提供的自动化信息录入方法，图1示出了根据本发明实施例的自动化信息录入流程。
如图1所示，本发明提供的自动化信息录入方法，包括：
S110：获取医患问答的音频，利用自动语音识别技术和自然语言处理技术对音频进行处理，提取患者的主诉信息，主诉信息包括患者相关的症状、疾病史、用药史。
在步骤S110中，患者的主诉信息通过自动语音识别技术和自然语言处理技术提取的，其具体步骤如图2所示的提取患者的主诉信息。
如图2所示，步骤S111：通过自动语音识别技术对获取的音频进行识别；
步骤S112：通过自然语言处理技术对识别到的音频信息进行模型训练，提取患者的相关症状、疾病史以及用药史。
具体地，自动语音识别(Automatic Speech Recognition，简称为ASR)语音识别技术与其他自然语言处理技术如机器翻译及语音合成技术相结合，可以构建出更加复杂的应用。本发明就是采用自动语音识别与自然语言处理技术相结合，从而提取患者的主诉信息。
其中，自动语音识别包括：训练、识别、失真测试和主要识别框架。其中，训练(Training)：预先分析出语音特征参数，制作语音模板，并存放在语音参数库中；识别(Recognition)：待识语音经过与训练时相同的分析，得到语音参数，将它与库中的参考模板一一比较，并采用判决的方法找出最接近语音特征的模板，得出识别结果；失真测度(Distortion Measures)：在进行比较时要有个标准，这就是计量语音特征参数矢量之间的“失真测度”；主要识别框架：基于模式匹配的动态时间规整法(DTW)和基于统计模型的隐马尔可夫模型法(HMM)。
在本发明的实施例中，ASR从音频输入后，首先对语音信号做预处理，提取特征后从语音模型库中对语音信号进行模式匹配，从而得到语音识别的结果。
机器无法理解人类的语言，但是通过运用自然语言处理技术(NLP，NaturalLanguage Processing)可实现语义的理解。自然语言处理技术(NLP)包括两方面的内容，其一为语言学，其二为计算模型。NLP可以实现文本摘要、信息抽取、情感分类等。
具体到医患问答的应用场景，自然语言处理技术对医患问答的语言做数据收集，并对数据进行语义标注和训练(如应用LSTM网络模型)，这样在实际应用中，可通过对ASR捕捉到的语言内容进行解码，匹配训练模型，从而提取出关键的信息(如患者症状、用药情况、语言中积极或消极的判断)。
S120：获取医患问答的视频，利用面部识别技术对视频进行处理，提取患者的身体状态、精神状态、情绪。
在步骤S120中，利用面部识别技术对视频中的患者的微表情进行识别，从而提取出患者的身体状态、精神状态和情绪等，其中，图3示出了根据本发明实施例的利用面部识别技术对视频进行处理的流程。
如图3所示，步骤S121：获取待识别视频，待识别视频包括至少两帧待识别视频图像；
步骤S122：将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集；
步骤S123：将基本问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果；
步骤S124：将敏感问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果；
步骤S125：基于标准表情识别结果和测试表情识别结果，获取患者的身体状态、精神状态、情绪。
在本发明的实施例中，通过获取待识别的医患问答的视频，待识别视频包括至少两帧待识别视频图像，以便将至少两帧待识别视频图像划分成等比例的基本问题特征集和敏感问题特征集，以便后续对识别结果进行统计时，计算方便。
其中，需要说明的是，通过面部识别技术(微表情识别技术)的数据收集，这里的数据必须是动态的视频数据；微表情识别必须在五分之一秒内抓取到情绪变化，也就是要做到一秒钟处理五帧以上画面，让数据做到实时，可以实时获取患者的状态情绪的变化。一般来说，采用此种面部识别技术可以实现30余个AU(最小表情动作单元)及10种情绪的检测，其中AU的最高识别准确度可达98.1％，平均86.3％；情绪的最高识别准确度可达98.2％，平均92.1％，并且序列帧检测(将单帧图像中的时间跨度加入其中，来尝试分析一段时间内一个人的心理变化情况)。因此，本发明采用此种面部识别技术可以比较准备的获取患者的身体状态、精神状态、情绪等信息。
S130：利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标。
在步骤S130中，OCR识别技术是光学字符识别的缩写(Optical CharacterRecognition)，通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。也就是说，要把影像作一个转换，使影像内的图形继续保存、有表格则表格内资料及影像内的文字，一律变成计算机文字，使能达到影像资料的储存量减少、识别出的文字可再使用及分析。在本发明中通过此技术提取出患者检验检查单据中的检验检查指标，节省因键盘输入的人力与时间。图4示出了根据本发明实施例的提取患者的检验检查指标流程。
如图4所示，步骤S131：对检验检查单据进行扫描；
步骤S132：将扫描后的检验检查单据转换为计算机可识别的检验检查单据；
步骤S133：对转换后的检验检查单据进行识别和分析，提取患者的检验检查指标。
在本发明的实施例中，采用OCR技术从影像到结果输出，须经过影像输入、影像前处理、文字特征抽取、比对识别、最后经人工校正将认错的文字更正，将结果输出。
具体地，1)影像输入，欲经过OCR处理的透过光学仪器，如影像扫描仪、传真机或任何摄影器材，将影像转入计算机。
2)对比识别，用特征比对方法的相异互补性，使识别出的结果。由于OCR的识别率并无法达到百分之百，或想加强比对的正确性及信心值，一些除错或甚至帮忙更正的功能，也成为OCR系统中必要的一个模块。字词后处理就是一例，利用比对后的识别文字与其可能的相似候选字群中，根据前后的识别文字找出最合乎逻辑的词，做更正的功能。
3)人工校正，具有文字影像与识别文字的对照，及其屏幕信息摆放的位置、还有每一识别文字的候选字功能、拒认字的功能、及字词后处理后特意标示出可能有问题的字词，从而进一步减少识别错误。
4)结果输出，将需要的数据输出。
S140：将提取到的患者的主诉信息、身体状态、精神状态、情绪以及检验检查指标，显示在与医生的交互界面，并作为备选，以方便直接点击录入临床决策支持系统。
在步骤S140中，这样从音频、视频和检验检查结果中得到的患者信息，可以显示在与医生的交互界面，作为备选，方便医生直接点击录入临床决策支持系统，此后临床决策支持系统可输出精准的决策建议。本发明的自动化录入方法涉及到的录制、扫描、信息显示等，这个方法需要的设备包括摄像头、扫描仪，显示屏等，摄像头用于录制音频和视频，扫描仪与OCR技术相结合，显示屏用显示获取的患者的信息以及与医生交互界面，用上述这些设备完成自动化信息录入，避免在推广过程中由于对医院网络系统的修改而受阻。
本发明实施例提供的自动化信息录入方法，获取医患问答的音频，利用自动语音识别技术和自然语言处理技术对音频进行处理，提取患者的主诉信息，主诉信息包括患者相关的症状、疾病史、用药史；获取医患问答的视频，利用面部识别技术对视频进行处理，提取患者的身体状态、精神状态、情绪；利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标；将提取到的患者的主诉信息、身体状态、精神状态、情绪以及检验检查指标，显示在与医生的交互界面，并作为备选，以方便直接点击录入临床决策支持系统。采用本发明提供的方法，能够减轻医生的工作量，提高临床决策支持系统的使用率；能够全面记录患者信息，为临床决策支持系统给出精准决策和推荐提供保障。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例2
与上述方法相对应，本发明还提供一种自动化信息录入系统，图5示出了根据本发明实施例的智能分诊系统逻辑结构。
如图5所示，本发明提供一种自动化信息录入系统500，包括：音频提取单元510、视频提取单元520、单据提取单元530和就交互界面显示单元540。其中，音频提取单元510、视频提取单元520、单据提取单元530和就交互界面显示单元540的实现功能与实施例中自动化信息录入方法的对应的步骤一一对应，本实施例不一一详述。
音频提取单元510，用于获取医患问答的音频，利用自动语音识别技术和自然语言处理技术对音频进行处理，提取患者的主诉信息，主诉信息包括患者相关的症状、疾病史、用药史；
视频提取单元520，用于获取医患问答的视频，利用面部识别技术对视频进行处理，提取患者的身体状态、精神状态、情绪；
单据提取单元530，用于利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标；
交互界面显示单元540，用于将提取到的患者的主诉信息、身体状态、精神状态、情绪以及检验检查指标，显示在与医生的交互界面，并作为备选，以方便直接点击录入临床决策支持系统。
优选地，音频提取单元510包括：
自动语音识别模块511，用于通过自动语音识别技术对获取的音频进行识别；
自然语言处理模块512，用于通过自然语言处理技术对识别到的音频信息进行模型训练，提取患者的相关症状、疾病史以及用药史。
优选地，视频提取单元520包括：待识别视频获取模块521、待识别视频划分模块522、标准表情识别结果获取模块523、测试表情识别结果获取模块524和患者状态识别结果获取模块525。
其中，待识别视频获取模块521，用于获取待识别视频，待识别视频包括至少两帧待识别视频图像；
待识别视频划分模块522，用于将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集；
标准表情识别结果获取模块523，用于将基本问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果；
测试表情识别结果获取模块524，用于将敏感问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果；
患者状态识别结果获取模块525，用于基于标准表情识别结果和测试表情识别结果，获取患者的身体状态、精神状态、情绪。
优选地，单据提取单元530包括：单据扫描模块531、单据转换模块532和单据分析模块533。
其中，单据扫描模块531，用于对检验检查单据进行扫描；
单据转换模块532，用于将扫描后的检验检查单据转换为计算机可识别的检验检查单据；
单据分析模块533，用于对转换后的检验检查单据进行识别和分析，提取患者的检验检查指标。
本发明实施例提供的自动化信息录入系统，音频提取单元510，用于获取医患问答的音频，利用自动语音识别技术和自然语言处理技术对音频进行处理，提取患者的主诉信息，主诉信息包括患者相关的症状、疾病史、用药史；视频提取单元520，用于获取医患问答的视频，利用面部识别技术对视频进行处理，提取患者的身体状态、精神状态、情绪；单据提取单元530，用于利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标；交互界面显示单元540，用于将提取到的患者的主诉信息、身体状态、精神状态、情绪以及检验检查指标，显示在与医生的交互界面，并作为备选，以方便直接点击录入临床决策支持系统。本系统能够减轻医生的工作量，提高临床决策支持系统的使用率；能够全面记录患者信息，为临床决策支持系统给出精准决策和推荐提供保障；本系统独立于医院HIS系统，方便临床决策支持系统的推广。
实施例3
图6是本发明一实施例提供的电子装置逻辑结构的示意图。如图6所示，该实施例的电子装置60包括处理器61、存储器62以及存储在存储器62中并可在处理器61上运行的计算机程序63。处理器61执行计算机程序63时实现实施例1中自动化信息录入方法的各个步骤，例如图1所示的步骤S110至S140。或者，处理器61执行智能分诊方法时实现上述各装置实施例中各模块/单元的功能，例如图5所示的音频提取单元510、视频提取单元520、单据提取单元530和就交互界面显示单元540。
示例性的，计算机程序63可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器62中，并由处理器61执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序63在电子装置60中的执行过程。例如，计算机程序63可以被分割成实施例2中的音频提取单元510、视频提取单元520、单据提取单元530和就交互界面显示单元540，其功能作用在实施例2中有详细描述，在此不一一赘述。
电子装置60可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子装置60可包括，但不仅限于，处理器61、存储器62。本领域技术人员可以理解，图4仅仅是电子装置60的示例，并不构成对电子装置60的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器61可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器62可以是电子装置60的内部存储单元，例如电子装置60的硬盘或内存。存储器62也可以是电子装置60的外部存储设备，例如电子装置60上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器62还可以既包括电子装置60的内部存储单元也包括外部存储设备。存储器62用于存储计算机程序以及电子设备所需的其他程序和数据。存储器62还可以用于暂时地存储已经输出或者将要输出的数据。
实施例4
本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例1中自动化信息录入方法，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现实施例2中自动化信息录入系统中各模块/单元的功能，为避免重复，这里不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种自动化信息录入方法，应用于电子装置，其特征在于，包括：
获取医患问答的音频，利用自动语音识别技术和自然语言处理技术对所述音频进行处理，提取患者的主诉信息，所述主诉信息包括患者相关的症状、疾病史、用药史；
获取医患问答的视频，利用面部识别技术对所述视频进行处理，提取患者的身体状态、精神状态、情绪；
利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标；
将提取到的患者的主诉信息、身体状态、精神状态、情绪以及检验检查指标，显示在与医生的交互界面，并作为备选，以方便直接点击录入临床决策支持系统。
2.根据权利要求1所述的自动化信息录入方法，其特征在于，
所述利用自动语音识别技术和自然语言处理技术对所述音频进行处理，提取患者的主诉信息，包括：
首先通过自动语音识别技术对获取的音频进行识别；
然后通过自然语言处理技术对识别到的音频信息进行模型训练，提取患者的相关症状、疾病史以及用药史。
3.根据权利要求1所述的自动化信息录入方法，其特征在于，
所述利用面部识别技术对所述视频进行处理，提取患者的身体状态、精神状态、情绪，包括：
获取待识别视频，所述待识别视频包括至少两帧待识别视频图像；
将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集；
将所述基本问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果；
将所述敏感问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果；
基于所述标准表情识别结果和所述测试表情识别结果，获取患者的身体状态、精神状态、情绪。
4.根据权利要求1至3中任一项所述的自动化信息录入方法，其特征在于，
所述利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标，包括：
对所述检验检查单据进行扫描；
将扫描后的检验检查单据转换为计算机可识别的检验检查单据；
对转换后的所述检验检查单据进行识别和分析，提取患者的检验检查指标。
5.一种自动化信息录入系统，其特征在于，包括：
音频提取单元，用于获取医患问答的音频，利用自动语音识别技术和自然语言处理技术对所述音频进行处理，提取患者的主诉信息，所述主诉信息包括患者相关的症状、疾病史、用药史；
视频提取单元，用于获取医患问答的视频，利用面部识别技术对所述视频进行处理，提取患者的身体状态、精神状态、情绪；
单据提取单元，用于利用OCR技术对患者的检验检查单据进行处理，提取患者的检验检查指标；
交互界面显示单元，用于将提取到的患者的主诉信息、身体状态、精神状态、情绪以及检验检查指标，显示在与医生的交互界面，并作为备选，以方便直接点击录入临床决策支持系统。
6.根据权利要求5所述的自动化信息录入系统，其特征在于，
所述音频提取单元包括：
自动语音识别模块，用于通过自动语音识别技术对获取的音频进行识别；
自然语言处理模块，用于通过自然语言处理技术对识别到的音频信息进行模型训练，提取患者的相关症状、疾病史以及用药史。
7.根据权利要求5所述的自动化信息录入系统，其特征在于，
所述视频提取单元包括：
待识别视频获取模块，用于获取待识别视频，所述待识别视频包括至少两帧待识别视频图像；
待识别视频划分模块，用于将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集；
标准表情识别结果获取模块，用于将所述基本问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果；
测试表情识别结果获取模块，用于将所述敏感问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果；
患者状态识别结果获取模块，用于基于所述标准表情识别结果和所述测试表情识别结果，获取患者的身体状态、精神状态、情绪。
8.根据权利要求5至7中任一项所述的自动化信息录入系统，其特征在于，
所述单据提取单元包括：
单据扫描模块，用于对所述检验检查单据进行扫描；
单据转换模块，用于将扫描后的检验检查单据转换为计算机可识别的检验检查单据；
单据分析模块，用于对转换后的所述检验检查单据进行识别和分析，提取患者的检验检查指标。
9.一种电子装置，该电子装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的自动化信息录入方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至4中任一项所述的自动化信息录入方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811553760.XA CN109785977A (zh) | 2018-12-18 | 2018-12-18 | 自动化信息录入方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811553760.XA CN109785977A (zh) | 2018-12-18 | 2018-12-18 | 自动化信息录入方法、系统、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109785977A true CN109785977A (zh) | 2019-05-21 |
Family
ID=66497289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811553760.XA Pending CN109785977A (zh) | 2018-12-18 | 2018-12-18 | 自动化信息录入方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109785977A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111540440A (zh) * | 2020-04-23 | 2020-08-14 | 深圳市镜象科技有限公司 | 基于人工智能的心理体检方法、装置、设备和介质 |
| CN111564002A (zh) * | 2020-04-30 | 2020-08-21 | 江苏商贸职业学院 | 一种智能药柜的信息处理方法和装置 |
| CN112464872A (zh) * | 2020-12-11 | 2021-03-09 | 广东电网有限责任公司 | 一种基于nlp自然语言的自动提取方法及装置 |
| CN112487980A (zh) * | 2020-11-30 | 2021-03-12 | 深圳市广信安科技股份有限公司 | 基于微表情治疗方法、装置、系统与计算机可读存储介质 |
| CN114531518A (zh) * | 2022-03-01 | 2022-05-24 | 上海艾莎医学科技有限公司 | 图像快速获取方法、装置、系统及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015158017A1 (zh) * | 2014-04-16 | 2015-10-22 | 深圳市易特科信息技术有限公司 | 智能交互及心理慰藉机器人服务系统 |
| CN105184239A (zh) * | 2015-08-27 | 2015-12-23 | 沈阳工业大学 | 基于患者表情识别的病房辅助医护系统及辅助医护方法 |
| US20170344713A1 (en) * | 2014-12-12 | 2017-11-30 | Koninklijke Philips N.V. | Device, system and method for assessing information needs of a person |
| CN108304374A (zh) * | 2017-10-27 | 2018-07-20 | 深圳市腾讯计算机系统有限公司 | 信息处理方法及相关产品 |
| CN108347482A (zh) * | 2018-02-06 | 2018-07-31 | 优酷网络技术（北京）有限公司 | 信息采集方法及装置 |
| CN108388397A (zh) * | 2018-02-13 | 2018-08-10 | 维沃移动通信有限公司 | 一种信息处理方法及终端 |
| CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
| CN108847281A (zh) * | 2018-06-26 | 2018-11-20 | 莱博生物科技股份有限公司 | 体检数据的处理方法、装置及电子设备 |
| CN108898115A (zh) * | 2018-07-03 | 2018-11-27 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
-
2018
- 2018-12-18 CN CN201811553760.XA patent/CN109785977A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015158017A1 (zh) * | 2014-04-16 | 2015-10-22 | 深圳市易特科信息技术有限公司 | 智能交互及心理慰藉机器人服务系统 |
| US20170344713A1 (en) * | 2014-12-12 | 2017-11-30 | Koninklijke Philips N.V. | Device, system and method for assessing information needs of a person |
| CN105184239A (zh) * | 2015-08-27 | 2015-12-23 | 沈阳工业大学 | 基于患者表情识别的病房辅助医护系统及辅助医护方法 |
| CN108304374A (zh) * | 2017-10-27 | 2018-07-20 | 深圳市腾讯计算机系统有限公司 | 信息处理方法及相关产品 |
| CN108347482A (zh) * | 2018-02-06 | 2018-07-31 | 优酷网络技术（北京）有限公司 | 信息采集方法及装置 |
| CN108388397A (zh) * | 2018-02-13 | 2018-08-10 | 维沃移动通信有限公司 | 一种信息处理方法及终端 |
| CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
| CN108847281A (zh) * | 2018-06-26 | 2018-11-20 | 莱博生物科技股份有限公司 | 体检数据的处理方法、装置及电子设备 |
| CN108898115A (zh) * | 2018-07-03 | 2018-11-27 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 任科 等: ""实用工具软件简明教程"", 西安：西安交通大学出版社, pages: 127 - 129 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111540440A (zh) * | 2020-04-23 | 2020-08-14 | 深圳市镜象科技有限公司 | 基于人工智能的心理体检方法、装置、设备和介质 |
| CN111564002A (zh) * | 2020-04-30 | 2020-08-21 | 江苏商贸职业学院 | 一种智能药柜的信息处理方法和装置 |
| CN112487980A (zh) * | 2020-11-30 | 2021-03-12 | 深圳市广信安科技股份有限公司 | 基于微表情治疗方法、装置、系统与计算机可读存储介质 |
| CN112464872A (zh) * | 2020-12-11 | 2021-03-09 | 广东电网有限责任公司 | 一种基于nlp自然语言的自动提取方法及装置 |
| CN114531518A (zh) * | 2022-03-01 | 2022-05-24 | 上海艾莎医学科技有限公司 | 图像快速获取方法、装置、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Laguarta et al. | COVID-19 artificial intelligence diagnosis using only cough recordings | |
| CN109785977A (zh) | 自动化信息录入方法、系统、装置及存储介质 | |
| Lella et al. | Automatic COVID-19 disease diagnosis using 1D convolutional neural network and augmentation with human respiratory sound based on parameters: cough, breath, and voice | |
| Chen et al. | Building bridges across electronic health record systems through inferred phenotypic topics | |
| US10910105B2 (en) | Monitoring the use of language of a patient for identifying potential speech and related neurological disorders | |
| JP5952835B2 (ja) | 撮像プロトコルの更新及び／又はリコメンダ | |
| Ball et al. | TextHunter–a user friendly tool for extracting generic concepts from free text in clinical research | |
| Carchiolo et al. | Medical prescription classification: a NLP-based approach | |
| US20200151871A1 (en) | Application of deep learning for medical imaging evaluation | |
| CA3118430C (en) | Abstracting information from patient medical records | |
| Searle et al. | Experimental evaluation and development of a silver-standard for the MIMIC-III clinical coding dataset | |
| CN105956412A (zh) | 基于智能图文识别实现冠心病临床数据收集的系统及方法 | |
| CN115050442A (zh) | 基于挖掘聚类算法的病种数据上报方法、装置及存储介质 | |
| Czyżewski et al. | Analysis of results of large‐scale multimodal biometric identity verification experiment | |
| de la Vega et al. | Neuroscout, a unified platform for generalizable and reproducible fMRI research | |
| Coiera et al. | Evidence synthesis, digital scribes, and translational challenges for artificial intelligence in healthcare | |
| CN114343577A (zh) | 认知功能评价方法、终端设备以及计算机可读存储介质 | |
| EP3467770B1 (en) | Method for analysing a medical imaging data set, system for analysing a medical imaging data set, computer program product and a computer-readable medium | |
| CN112071431B (zh) | 基于深度学习和知识图谱的临床路径自动生成方法及系统 | |
| US20240054360A1 (en) | Similar patients identification method and system based on patient representation image | |
| CN117407682A (zh) | 医学模型评估方法、装置、电子设备和存储介质 | |
| CN109859813A (zh) | 一种实体修饰词识别方法及装置 | |
| Parekh et al. | Automatic sleep stage scoring on raw single-channel EEG: A comparative analysis of CNN architectures | |
| CN110889836A (zh) | 一种影像数据分析方法、装置、终端设备及存储介质 | |
| CN116992839B (zh) | 病案首页自动生成方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |