CN113658690A - 一种智能导医方法、装置、存储介质以及电子设备 - Google Patents

一种智能导医方法、装置、存储介质以及电子设备 Download PDF

Info

Publication number
CN113658690A
CN113658690A CN202111007311.7A CN202111007311A CN113658690A CN 113658690 A CN113658690 A CN 113658690A CN 202111007311 A CN202111007311 A CN 202111007311A CN 113658690 A CN113658690 A CN 113658690A
Authority
CN
China
Prior art keywords
target
information
inquiry
disease
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111007311.7A
Other languages
English (en)
Inventor
张俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ping An Medical Health Technology Service Co Ltd
Original Assignee
Ping An Medical and Healthcare Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Medical and Healthcare Management Co Ltd filed Critical Ping An Medical and Healthcare Management Co Ltd
Priority to CN202111007311.7A priority Critical patent/CN113658690A/zh
Publication of CN113658690A publication Critical patent/CN113658690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请涉及人工智能技术领域,具体公开了一种智能导医方法、装置、存储介质以及电子设备。其中方法包括:接收用户上传的问诊信息;基于所述问诊信息的问诊类型匹配目标判断方式;其中,所述问诊类型包括:语音、文字或图像;基于所述目标判断方式确定所述问诊信息中的目标分诊信息;基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息。本申请中,通过根据问诊类型来匹配相应的目标判断方式,然后根据目标判断方式来对问诊信息进行判断,确定出目标分诊信息,由此实现了针对不同问诊类型的问诊信息均能够进行疾病判断,以智能的为用户导医。

Description

一种智能导医方法、装置、存储介质以及电子设备
技术领域
本申请涉及人工智能技术领域,特别涉及一种智能导医方法、装置、存储介质以及电子设备。
背景技术
近年来,随着生活水平的提高,患者对优质资源的需求日益增长,线上诊疗流量增加,问询需求量随之放大。院方不仅需要招雇大具备专业知识的人员来负责导诊导医等问询工作,还要投入大量的精力财力进行人员培训,同时也会增加人力考核与管理成本。由此自助导医的智能导医方法及系统应运而生。
但是现有的导医方法及系统还存在一些问题,例如:现有系统大多为嵌入于硬件设备,用于线下导医,无法在线上实现针对不同问诊类型的导医问诊;并且通常只支持单一问诊类型的问诊信息进行导医问诊,比如只采用语音识别或文字问诊,无法综合各种问诊类型的问诊信息给出更加准确的科室分类结果;同时现有的导医方法及系统大多基于规则或传统机器学习方法构建,无法充分提取用户上传数据的特征信息,从而造成导医的准确度较低。
发明内容
有鉴于此,本发明提供了一种智能导医方法、装置、存储介质以及电子设备,主要目的在于解决目前存在的导医方法无法针对不同问诊类型进行导医的问题。
为解决上述问题,本申请提供一种智能导医方法,包括:
接收用户上传的问诊信息;
基于所述问诊信息的问诊类型匹配目标判断方式;其中,所述问诊类型包括:语音、文字或图像;
基于所述目标判断方式确定所述问诊信息中的目标分诊信息;
基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息。
可选的,当所述问诊类型为语音或文字时,所述基于所述目标判断方式确定所述问诊信息中的目标分诊信息,包括:
对语音类问诊信息或文字类问诊信息进行预处理,获得若干文本语句;
基于各所述文本语句进行关键词提取,获得若干候选关键词;
基于各所述候选关键词构建对应的若干候选关键词图;
基于各所述候选关键词图计算各所述候选关键词的权重值;
基于各所述权重值确定目标关键词,其中,所述目标关键词包括一个或多个;
基于所述目标关键词在预构建的医学知识图谱中匹配,以确定目标分诊信息。
可选的,当所述问诊类型为图像时,所述基于所述目标判断方式确定所述问诊信息中的目标分诊信息,包括:
判断所述图像中目标对象的类型;
若所述目标对象的类型为人体部位,基于预设的目标细粒度分类模型对所述图像进行识别,获得各疾病目标概率值;
基于所述目标概率值确定目标分诊信息;
若所述目标对象的类型为文字,基于文字识别模型对所述图像中的文字进行识别,获得目标分诊信息。
可选的,在接收用户上传的问诊信息之后,所述方法还包括:接收用户上传的位置信息;
所述基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息包括:
识别所匹配的目标医生的数量;
当所匹配的目标医生数量为多个时,按照所述目标医生所在位置与所述位置信息之间的距离远近排列,并显示各所述目标医生的信息。
可选的,所述对语音类问诊信息或文字类问诊信息进行预处理,获得若干文本语句,包括:
在所述问诊类型为语音的情况下,按照预定的语音帧长度以及预定的移帧长度对语音问诊信息进行分帧处理,获得若干语音帧片段;
对各所述语音帧片段进行转换,获得对应的多维向量;
对各所述多维向量进行归一化处理,获得与各所述多维向量对应的目标特征向量;
基于各所述目标特征向量获得对应的音素序列;
基于各所述音素序列获得初始文本;
基于所述初始文本进行分割处理,获得所述若干文本语句;
在所述问诊类型为文字的情况下,对所述文字问诊信息进行分割处理,获得所述若干文本语句。
可选的,基于预设的目标细粒度分类模型对所述图像进行识别,获得各疾病目标概率值,具体包括:
对所述图像进行特征提取,获得第一特征图;
利用第一卷积层以及第二卷积层分别对所述第一特征图进行卷积处理,获得第二特征图以及第三特征图;
基于第一全卷积层对所述第二特征图进行全卷积处理,获得第四特征图,以基于所述第四特征图获取到各疾病的第一概率值;
基于池化层以及第二全卷积层依次对所述第三特征图进行处理,获得第五特征图,以基于所述第五特征图获取到各疾病的第二概率值;
基于池化层以及交叉通道池化层依次对所述第三特征图进行处理,获得第六特征图,以基于所述第六特征图获取到各疾病的第三概率值;
基于各疾病的第一概率值、各疾病的第二概率值以及各疾病的第三概率值获得所述各疾病的目标概率值。
可选的,在基于预设的目标细粒度分类模型对所述图像进行识别,获得各疾病目标概率值之前,所述方法还包括训练获得所述目标细粒度分类模型,训练过程包括:
获取若干图像样本;
获取与各图像样本对应的疾病名称;
基于所述图像样本以及各图像样本对应的疾病名称,进行细粒度分类模型的训练,获得所述目标细粒度分类模型。
为解解决上述技术问题,本申请提供一种智能导医装置,包括:
接收模块,用于接收用户上传的问诊信息;
第一匹配模块,用于基于所述问诊信息的问诊类型匹配目标判断方式;其中,所述问诊类型包括:语音、文字或图像;
确定模块,用于基于所述目标判断方式确定所述问诊信息中的目标分诊信息;
第二匹配模块,用于基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息。
为解决上述,本申请提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述智能导医方法的步骤。
为解决上述,本申请提供一种电子设备,至少包括存储器、处理器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述智能导医方法的步骤。
本申请中的智能导医方法、装置、存储介质以及电子设备,通过根据问诊类型来匹配相应的目标判断方式,然后根据目标判断方式来对问诊信息进行判断,确定出目标分诊信息,由此实现了针对不同问诊类型的问诊信息均能够进行疾病判断,以智能的为用户导医,帮助用户快速的找到目标医生。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例一种智能导医方法的流程图;
图2为本申请实施例细粒度分类模型的网络架构图;
图3为本申请又一实施例一种智能导医方法的流程图;
图4为本申请另一实施例一种智能导医装置的结构框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是,可以对此处申请的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例,并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本申请的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本申请进行了描述,但本领域技术人员能够确定地实现本申请的很多其它等效形式。
当结合附图时,鉴于以下详细说明,本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例;然而,应当理解,所申请的实施例仅仅是本申请的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此,本文所申请的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本申请的相同或不同实施例中的一个或多个。
本申请实施例提供一种智能导医方法,具体以该方法应用于服务器器等计算机设备为例进行说明,其中服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络以及大数据和人工智能平台等基础云计算服务的云服务器。如图1所示,本实施例中的方法包括:
步骤S101,接收用户上传的问诊信息;
本步骤中,服务器具体可以接收用户通过终端设备上传的问诊信息,即用户在终端的预定输入界面来输入问诊信息后,终端设备将该问诊信息转发至指定的服务器,后续服务器就可以根据接收到的问诊信息进行导医处理。
步骤S102,基于所述问诊信息的问诊类型匹配目标判断方式;其中,所述问诊类型包括:语音、文字或图像;
本步骤中,问诊信息包括如下任意一种:语音问诊信息、文字问诊信息、人体部位图像问诊信息以及检查报告图像问诊信息。所述问诊类型包括:与语音问诊信息对应的语音类型、与文字问诊信息对应的文字类型、与人体部位图像问诊信息对应的第一图像类型以及与检查报告图像问诊信息对应的第二图像类型。所述目标判断方式包括如下任意一种:与文字类型以及语音类型对应的第一判断方式、与第一图像类型对应的第二判断方式以及与第二图像类型对应的第三判断方式。
具体的,在实施本步骤之前,可以预先建立各问诊类型与判断方式的映射关系,并对该映射关系进行存储,这样在接收到问诊信息后,就可以根据问诊信息的问诊类型通过查找上述映射关系来快速的找到相应的目标判断方式。
步骤S103,基于所述目标判断方式确定所述问诊信息中的目标分诊信息;
本步骤中,在确定了目标判断方式之后,就可以采用该判断方式来对问诊信息进行判断,以此来确定问诊信息中的目标分诊信息。其中目标分诊信息可以包括疾病类型、科室等等。具体判断方式包括如下:
方式一、当问诊类型为语音或文字时,是通过获取目标关键词的方式来确定目标分诊信息的。具体判断过程为:对语音类问诊信息或文字类问诊信息进行预处理,获得若干文本语句。例如,当问诊信息为语音时,可以采用如下处理过程来获得若干文本语句:(1)按照预定的语音帧长度以及预定的移帧长度对语音问诊信息进行分帧处理,获得若干语音帧片段。即帧与帧之间有一定的交叠,例如每一帧长度是30ms,帧移是15ms,则两帧之间有15ms的交叠。(2)对各所述语音帧片段进行转换,获得与所述各语音帧片段对应的多维向量。具体的可以通过提取每帧音频的梅尔频率倒谱系数(Mel-scale Frequency CepstralCoefficients,简称(MFCC),以此来把每一帧语音信号转化成一个40维向量。(3)对各所述多维向量进行归一化处理,获得与各所述多维向量对应的目标特征向量。即对40维特征向量进行归一化,即减去该40维向量的均值并除以方差获得目标特征向量。(4)基于各所述目标特征向量获得与各目标特征向量对应的音素序列。具体的,可以利用预定的语音识别模型根据目特征向量来获得多条音素序列。该语音识别模型主要由一个基于长短期记忆网络(Long Short-TermMemory,简称LSTM)构建的语音模型和一个基于N-Gram的语言模型组成。其中,LSTM网络模型共5层,第一层和第二层共40个隐藏节点,第三层为全连接层,80个隐藏节点,第四层为softmax层,第5层为连接时序分类(Connectionist TemporalClassificatio,简称CTC)层。该N-gram模型中的N为3,因此该语言模型也为一个Trigram模型。(5)基于各所述音素序列获得初始文本。具体的可以基于中文医学知识图谱(ChineseMedical Knowledge Graph,简称CMeKG)的医学知识训练一个Trigram语言模型;然后利用WFST语音识别系统将隐马尔科夫模型(Hidden MarkovModel,简称HMM)、发音词典(拼音与汉字的对应关系,如“nihao”对应“你好”)以及Trigram模型编译成一个动态网络,并利用Viterbi算法在该网络中找到最优的输出字符序列,由此来将因素序列转化为文本。(6)基于所述初始文本进行分割处理,获得所述若干文本语句。或者当问诊信息为文字时,可以直接对其进行分割,以此来获得若干文本语句。在分割时具体可以利用标点符合来进行分割。
本实施例中在获得若干文本语句之后,就可以进行关键词的提取了来获得目标关键词了,目标关键词的获取过程为:(1)基于各所述文本语句进行关键词提取,获得若干候选关键词。具体可以根据文本语句中各单词的词性来提取获得若干候选关键词,例如将各文本语句中词性为名词、动词或形容词的单词提取出来,获得若干候选关键词。(2)基于各所述候选关键词构建获得与各候选关键词对应的若干候选关键词图G,即每个候选关键词都会构建有若干候选关键词G=(V,E),其中V为节点集,由候选关键词组成,E是V中元素构成的无序二元组的集合,称为边集,候选关键词图为无向图。候选关键词图G构建过程如下:可以先从若干候选关键词中确定一个目标候选关键词,然后基于该目标候选关键词与其前面的n个候选关键词、以及后面的m个候选关键词的相邻关系构建获得候选关键词图;其中n+m=N,n=[0,N],m=[0,N],其中N为根据实际需要设定的值,例如为4。本步骤中通过每次选取不同的n和m值,由此就可以获得与目标候选关键词对应的各候选关键词图。同理对将每个候选关键词作为目标候选关键词,由此就可以构建获得各候选关键词的若干候选关键词图。(3)基于各候选关键的若干候选关键词图计算各候选关键词的权重值。本步骤中,以计算候选关键词“5”的权重值为例,该候选关键词“5”会对应有若干候选关键词图G,例如各候选关键词图G分别为:“1、2、3、4、5”、“2、3、4、5、6”、“3、4、5、6、7”这3个关键词图G,那么在计算候选关键词“5”的权重值时,首先需要分别计算(5,1)、(5,2)、(5,3)、(5,4)、(5,5)、(5,6)、(5,7)这7条路径的权值,其中(5,1)、(5,2)、(5,3)、(5,4)为第一个候选关键词图G的边集E。在确定各路径之后以及各路径的权重之后,就可以将这7条路径的权值相加得到“5”的权重值。其中,计算(5,1)的这条路径E的权值是根据(5,1)在各候选关键词图G中出现的频次,因为(5,1)在各候选关键词图中只出现了一次,所以根据频次与权值的对应关系,就可以获得(5,1)的权值。本步骤中具体可以预先建立权值与频次的对应关系,例如频次越大对应的权值也也越大。(4)基于各所述候选关键词的权重值确定若干目标关键词。本步骤中,具体可以将权重值最大的三个候选关键词来作为目标关键词。
在获得目标关键词之后,就可以基于各所述目标关键词查找预先构建的医学知识图谱,确定目标分诊信息。其中医学知识图谱中包含有疾病部位、疾病症状、疾病名称的对应关系,例如当确定目标关键词后,目标关键词为“头部”、“热”以及“疼痛”时,就可以通过查找医学知识图谱来确定目标分诊信息为“感冒、发烧”。
本方式中通过采用基于候选关键词图的方式来计算各候选关键词的权重值,由此能够准确的确定出目标关键词,为后续准确的判断出目标分诊信息、准确的进行导医奠定了基础。
方式二、当问诊类型为图像时,是通过模型识别的方式来确定目标疾病以此来确定目标分诊信息。具体目标分诊信息的确定过程为:判断所述图像问诊信息中目标对象的类型;若所述目标对象的类型为人体部位,则基于预设的目标细粒度分类模型对所述图像进行识别,获得各疾病目标概率值;基于所述目标概率值确定目标分诊信息;若所述目标对象的类型为文字,则基于文字识别模型对所述图像中的文字进行识别,获得目标分诊信息。即本方式中需要针对图像中对象类型来进一步确定目标判断方式,例如当图像中的对象内容为人体部位时,说明该图像为人体部位照片,比如手臂照片、头部照片、腿部照片,此时可以采用目标细粒度分类模型的识别方式来确定目标疾病,进而确定目标分诊信息;当图像中的对象内容为文字时,说明该图像为检测报告、化验报告等,此时可以采用文字识别模型来对检查报告进行识别,获得目标疾病名称,进而确定目标分诊信息。
其中,目标细粒度分类模型Advanced DFL架构可以如图2所示,通过将图像问诊信息输入到该目标细粒度分类模型中进行判断,就可以获得各疾病的目标概率值。目标细粒度分类模型的判断过程具体为:(1)基于所述细粒度分类模型中的DenseNet121特征提取模块对所述图像进行特征提取,获得第一特征图。即利用DenseNet121特征提取模块中的4个卷积层Conv1_x、Conv2_x、Conv3_x以及Conv4_x依次对图像进行特征提取,获得第一特征图。其中DenseNet121特征提取模块中的第1个密集区块DenseBlock中的3*3卷积核均采用膨胀卷积,膨胀率为[1,2,5,5,2,1],在不增加参数的情况下提高感受野,从而增加分类性能。(2)利用第一卷积层Conv5_x以及第二卷积层Conv6_x分别对所述第一特征图进行卷积处理,获得第二特征图以及第三特征图。(3)基于卷积核为1*1的第一全卷积层对所述第二特征图进行全卷积处理,获得第四特征图,通过将所述第四特征图输入到损失层LossLayer来获取到各疾病的第一概率值;(4)基于池化层Pool6以及卷积核为1*1的第二全卷积层依次对所述第三特征图进行处理,获得第五特征图,通过将所述第五特征图输入到损失层LossLayer获取到各疾病的第二概率值;(5)基于池化层Pool6以及交叉通道池化层Cross-Channel Pooling依次对所述第三特征图进行处理,获得第六特征图,通过将所述第六特征图输入到损失层Loss Layer获取到各疾病的第三概率值;(6)基于各疾病的第一概率值、各疾病的第二概率值以及各疾病的第三概率值计算全损失Total Loss获得所述各疾病的目标概率值。本方式中通过利用预设的目标细粒度分类模型能够准确的对人体部位图像所患的皮肤疾病和/或皮肤或创伤疾病进行识别,即准确的确定出目标分诊信息,为后续准确的确定出目标医生,准确的进行导医提供了保证。
基于文字识别模型对所述图像中进行识别时,例如可以基于OCR识别模型对所述检查报告图像进行识别,获得目标分诊信息。利用OCR模型对检查报告图像进行识别获得疾病名称。具体识别过程为:检测报告单上的字段,获得字段的左上、右下、右下、左下四个点的坐标。基于以上四个坐标进行裁剪获得图像块,然后将图像块短边缩放至720像素,长边依据原始图像大小进行等比例缩放。最后将缩放后的图像块传入识别模型,输出文字内容,即输出目标分诊信息。通过利用于OCR识别模型即文字识别模型能够直接对检查报告图像中的名称进行识别,从而准确的确定目标分诊信息,为后续准确的确定出目标医生,准确的进行导医提供了保证。
本步骤中目分诊信息具体可以包括疾病名称、疾病所属的科室、疾病轻重等级等等。
步骤S104,基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息。
本步骤中,具体可以预先建立目标分诊信息与疾病科室以及医生的关联关系。由此在确定目标分诊信息后,就可以通过查找该关联关系匹配到目标分诊信息所对应的科室,然后从科室对应的若干医生中随机选取至少一位医生作为目标医生,具体也可以根据预定的选取顺序、或医生的空闲度情况来选取至少一位医生作为目标医生。最后将目标医生的信息反馈给终端设备,利用终端设备进行显示,以供用户查看。
本申请中的智能导医方法,通过根据问诊类型来匹配相应的目标判断方式,然后利用目标判断方式来对问诊信息进行判断,由此能够准确的确定出目标分诊信息,进而实现了针对不同问诊类型的问诊信息均能够进行疾病判断,然后为用户导医。
在上述实施例的基础上,本申请又一实施例提供一种智能导医方法,如图3所示,包括:
步骤S201,获取若干图像样本;获取与各图像样本对应的疾病名称;基于所述图像样本以及各图像样本对应的疾病名称,进行细粒度分类模型的训练,获得所述目标细粒度分类模型。
本步骤中,图像样本具体可以为人体部位的图像样本,例如头部图像样本、手图像样本、胳膊图像样本等等,疾病名称可以为创伤疾病名称也可以为皮肤疾病名称,具体可以为:皮肤感染、骨头外露、皮肤擦伤、皮肤烧伤、皮肤过敏、白斑病等等。通过将上述的图像样本输入到如图2所示的模型架构中的初始细粒度分类模型中,就可以输出各人体部位图像样本对应的疾病的概率,通过根据各图像样本的实际疾病来对初始模型中的参数进行调整,即对各卷积核中的神经元参数进行调整,获得预设卷积核,由此训练获得细粒度分类模型。
步骤S202,获取若干检查报告图像样本;获取各检测报告图像对应的疾病名称;基于所述检查报告图像样本以及各检测报告图像对应的疾病名称,进行OCR识别模型的训练,获得预设的OCR识别模型。
步骤S203,接收用户上传的问诊信息;
本步骤中问诊信息可以为如下任意一种或几种:语音类问诊信息、文字类问诊信息、图像类问诊信息。即可以同时接收用户上传的多种问诊类型的问诊信息。其中图像类问诊信息可以包括:人体部位图像、化验单、影像报告单等。
步骤S204,基于所述问诊信息的问诊类型查找第一映射关系表,匹配得到目标判断方式;其中,所述问诊类型包括:语音、文字或图像;
本步骤中当问诊信息包括不同问诊类型时,例如既包括文字问诊信息又包括人体部位图像问诊信息时,可以分别为该两种类型的问诊信息匹配对应的目标判断方式,以为后续利用各自对应的判断方式来对问诊信息进行疾病判断奠定了基础。
步骤S205,基于所述目标判断方式确定问诊信息中的目标分诊信息;
步骤S206,基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息。
本步骤中,在确定目标医生后,可以将医生的职称、擅长领域、工作年限、所属医院等相关信息反馈各终端设备,以在终端设备上进行显示。并且在显示各目标医生的医生信息后,还可以进一步接收用户的的点选信息,然后根据用户的点选信息建立会话,以实现在线问诊。即当终端设备显示出若干目标医生时,用户可以通过线上挂号的方式以到医院进行问诊,也可以直接选择一目标医生,然后进一步与该目标医生建立会话以实现线上问诊。
本实施例中,在接收用户上传的问诊信息后,还可以接收用户上传的位置信息;所述基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息包括:识别所匹配的目标医生的数量;当所匹配的目标医生数量为多个时,按照所述目标医生所在位置与所述位置信息之间的距离远近排列,并显示各所述目标医生的信息。本实施例中通过按照距离远近的显示顺序来对目标医生进行显示,能够直观、快速的让用户了解到哪个医生距离用户最近,便于用户后续进行线下问诊。当然本申请中还可以根据医生的综合评分高低、执业年限多少等显示顺序来显示。
本申请另一实施例提供一种智能导医装置,如图4所示,包括:
接收模块1,用于接收用户上传的问诊信息;
第一匹配模块2,用于基于所述问诊信息的问诊类型匹配目标判断方式;其中,所述问诊类型包括:语音、文字或图像;
确定模块3,用于基于所述目标判断方式确定所述问诊信息中的目标分诊信息;
第二匹配模块4,用于基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息。
具体的,所述确定模块具体用于:对语音类问诊信息或文字类问诊信息进行预处理,获得若干文本语句;基于各所述文本语句进行关键词提取,获得若干候选关键词;基于各所述候选关键词构建对应的若干候选关键词图;基于各所述候选关键词图计算各所述候选关键词的权重值;基于各所述权重值确定目标关键词,其中,所述目标关键词包括一个或多个;基于所述目标关键词在预构建的医学知识图谱中匹配,以确定目标分诊信息。
具体的,所述确定模块还用于:判断所述图像问诊信息中目标对象的类型;若所述目标对象的类型为人体部位,基于预设的目标细粒度分类模型对所述图像进行识别,获得各疾病目标概率值;基于所述目标概率值确定目标分诊信息;若所述目标对象的类型为文字,基于文字识别模型对所述图像中的文字进行识别,获得目标分诊信息。
本实施例中的接收模块还用于,接收用户上传的位置信息;
所述基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息包括:识别所匹配的目标医生的数量;当所匹配的目标医生数量为多个时,按照所述目标医生所在位置与所述位置信息之间的距离远近排列,并显示各所述目标医生的信息。
在具体实施过程中,所述智能导医装置还包括预处理模块,所述预处理模块用于:在所述问诊类型为语音的情况下,按照预定的语音帧长度以及预定的移帧长度对语音问诊信息进行分帧处理,获得若干语音帧片段;对各所述语音帧片段进行转换,获得对应的多维向量;对各所述多维向量进行归一化处理,获得与各所述多维向量对应的目标特征向量;基于各所述目标特征向量获得与各目标特征向量对应的音素序列;基于各所述音素序列获得初始文本;基于所述初始文本进行分割处理,获得所述若干文本语句;在所述问诊类型为文字的情况下,对所述文字问诊信息进行分割处理,获得所述若干文本语句。
本实施中,所述确定模块,具体用于:对所述图像进行特征提取,获得第一特征图;利用第一卷积层以及第二卷积层分别对所述第一特征图进行卷积处理,获得第二特征图以及第三特征图;基于第一全卷积层对所述第二特征图进行全卷积处理,获得第四特征图,以基于所述第四特征图获取到各疾病的第一概率值;基于池化层以及第二全卷积层依次对所述第三特征图进行处理,获得第五特征图,以基于所述第五特征图获取到各疾病的第二概率值;基于池化层以及交叉通道池化层依次对所述第三特征图进行处理,获得第六特征图,以基于所述第六特征图获取到各疾病的第三概率值;基于各疾病的第一概率值、各疾病的第二概率值以及各疾病的第三概率值获得所述各疾病的目标概率值。
具体的,本实施例中智能导医装置还包括用于训练获得所述目标细粒度分类模型训练模块,所述训练模块具体用于:获取若干图像样本;获取与各图像样本对应的疾病名称;基于所述图像样本以及各图像样本对应的疾病名称,进行细粒度分类模型的训练,获得所述目标细粒度分类模型。
本申请中,通过根据问诊类型来匹配相应的目标判断方式,然后根据目标判断方式来对问诊信息进行判断,确定出目标分诊信息,由此实现了针对不同问诊类型的问诊信息均能够进行疾病判断,以智能的为用户导医,帮助用户快速、准确的找到目标医生。本申请实现了可以综合分析用户上传的多模态(文字类型、语音类型、图像类型)问诊信息,并且对于不同问诊类型的问诊信息,都引入了深度学习模型进行处理,可大大增加模型对数据的高层特征提取。此外采用人机交互的方式推荐科室和医生,用户有一定的自主选择权,从而整个导诊流程由问答式服务变成了选择式服务,提升导诊的准确性。
本申请又一实施例提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下智能导医方法的步骤:
步骤一、接收用户上传的问诊信息;
步骤二、基于所述问诊信息的问诊类型匹配目标判断方式;其中,所述问诊类型包括:语音、文字或图像;
步骤三、基于所述目标判断方式确定所述问诊信息中的目标分诊信息;
步骤四、基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息。
上述方法步骤的具体实施过程可参见上述任一智能导医方法的实施例,本实施例在此不再重复赘述。
本申请中,通过根据问诊类型来匹配相应的目标判断方式,然后根据目标判断方式来对问诊信息进行判断,确定出目标分诊信息,由此实现了针对不同问诊类型的问诊信息均能够进行疾病判断,以智能的为用户导医,帮助用户快速、准确的找到目标医生。
本申请又一实施例提供一种电子设备,至少包括存储器、处理器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时实现如下智能导医方法的步骤:
步骤一、接收用户上传的问诊信息;
步骤二、基于所述问诊信息的问诊类型匹配目标判断方式;其中,所述问诊类型包括:语音、文字或图像;
步骤三、基于所述目标判断方式确定所述问诊信息中的目标分诊信息;
步骤四、基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息。
上述方法步骤的具体实施过程可参见上述任一智能导医方法的实施例,本实施例在此不再重复赘述。
本申请中,通过根据问诊类型来匹配相应的目标判断方式,然后根据目标判断方式来对问诊信息进行判断,确定出目标分诊信息,由此实现了针对不同问诊类型的问诊信息均能够进行疾病判断,以智能的为用户导医,帮助用户快速、准确的找到目标医生。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种智能导医方法,其特征在于,包括:
接收用户上传的问诊信息;
基于所述问诊信息的问诊类型匹配目标判断方式;其中,所述问诊类型包括:语音、文字或图像;
基于所述目标判断方式确定所述问诊信息中的目标分诊信息;
基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息。
2.如权利要求1所述的方法,其特征在于,当所述问诊类型为语音或文字时,所述基于所述目标判断方式确定所述问诊信息中的目标分诊信息,包括:
对语音类问诊信息或文字类问诊信息进行预处理,获得若干文本语句;
基于各所述文本语句进行关键词提取,获得若干候选关键词;
基于各所述候选关键词构建对应的若干候选关键词图;
基于各所述候选关键词图计算各所述候选关键词的权重值;
基于各所述权重值确定目标关键词,其中,所述目标关键词包括一个或多个;
基于所述目标关键词在预构建的医学知识图谱中匹配,以确定目标分诊信息。
3.如权利要求1所述的方法,其特征在于,
当所述问诊类型为图像时,所述基于所述目标判断方式确定所述问诊信息中的目标分诊信息,包括:
判断所述图像中目标对象的类型;
若所述目标对象的类型为人体部位,基于预设的目标细粒度分类模型对所述图像进行识别,获得各疾病目标概率值;
基于所述目标概率值确定目标分诊信息;
若所述目标对象的类型为文字,基于文字识别模型对所述图像中的文字进行识别,获得目标分诊信息。
4.如权利要求1所述的方法,其特征在于,在接收用户上传的问诊信息之后,所述方法还包括:接收用户上传的位置信息;
所述基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息包括:
识别所匹配的目标医生的数量;
当所匹配的目标医生数量为多个时,按照所述目标医生所在位置与所述位置信息之间的距离远近排列,并显示各所述目标医生的信息。
5.如权利要求2所述的方法,其特征在于,所述对语音类问诊信息或文字类问诊信息进行预处理,获得若干文本语句,包括:
在所述问诊类型为语音的情况下,按照预定的语音帧长度以及预定的移帧长度对语音问诊信息进行分帧处理,获得若干语音帧片段;
对各所述语音帧片段进行转换,获得对应的多维向量;
对各所述多维向量进行归一化处理,获得与各所述多维向量对应的目标特征向量;
基于各所述目标特征向量获得对应的音素序列;
基于各所述音素序列获得初始文本;
基于所述初始文本进行分割处理,获得所述若干文本语句;
在所述问诊类型为文字的情况下,对所述文字问诊信息进行分割处理,获得所述若干文本语句。
6.如权利要求3所述的方法,其特征在于,基于预设的目标细粒度分类模型对所述图像进行识别,获得各疾病目标概率值,具体包括:
对所述图像进行特征提取,获得第一特征图;
利用第一卷积层以及第二卷积层分别对所述第一特征图进行卷积处理,获得第二特征图以及第三特征图;
基于第一全卷积层对所述第二特征图进行全卷积处理,获得第四特征图,以基于所述第四特征图获取到各疾病的第一概率值;
基于池化层以及第二全卷积层依次对所述第三特征图进行处理,获得第五特征图,以基于所述第五特征图获取到各疾病的第二概率值;
基于池化层以及交叉通道池化层依次对所述第三特征图进行处理,获得第六特征图,以基于所述第六特征图获取到各疾病的第三概率值;
基于各疾病的第一概率值、各疾病的第二概率值以及各疾病的第三概率值获得所述各疾病的目标概率值。
7.如权利要求3所述的方法,其特征在于,在基于预设的目标细粒度分类模型对所述图像进行识别,获得各疾病目标概率值之前,所述方法还包括训练获得所述目标细粒度分类模型,训练过程包括:
获取若干图像样本;
获取与各图像样本对应的疾病名称;
基于所述图像样本以及各图像样本对应的疾病名称,进行细粒度分类模型的训练,获得所述目标细粒度分类模型。
8.一种智能导医装置,其特征在于,包括:
接收模块,用于接收用户上传的问诊信息;
第一匹配模块,用于基于所述问诊信息的问诊类型匹配目标判断方式;其中,所述问诊类型包括:语音、文字或图像;
确定模块,用于基于所述目标判断方式确定所述问诊信息中的目标分诊信息;
第二匹配模块,用于基于所述目标分诊信息匹配对应的目标医生,并显示所述目标医生的信息。
9.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述智能导医方法的步骤。
10.一种电子设备,其特征在于,至少包括存储器、处理器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时实现上述权利要求1-7任一项所述智能导医方法的步骤。
CN202111007311.7A 2021-08-30 2021-08-30 一种智能导医方法、装置、存储介质以及电子设备 Pending CN113658690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111007311.7A CN113658690A (zh) 2021-08-30 2021-08-30 一种智能导医方法、装置、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111007311.7A CN113658690A (zh) 2021-08-30 2021-08-30 一种智能导医方法、装置、存储介质以及电子设备

Publications (1)

Publication Number Publication Date
CN113658690A true CN113658690A (zh) 2021-11-16

Family

ID=78493271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111007311.7A Pending CN113658690A (zh) 2021-08-30 2021-08-30 一种智能导医方法、装置、存储介质以及电子设备

Country Status (1)

Country Link
CN (1) CN113658690A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019948A (zh) * 2022-06-28 2022-09-06 苏州景昱医疗器械有限公司 控制设备、远程会诊系统和计算机可读存储介质
CN117409921A (zh) * 2023-12-15 2024-01-16 万里云医疗信息科技(北京)有限公司 疾病结论确定方法、装置以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109599187A (zh) * 2018-10-31 2019-04-09 北京春雨天下软件有限公司 一种在线问诊的分诊方法、服务器、终端、设备及介质
CN110619959A (zh) * 2019-08-09 2019-12-27 贵阳叁玖互联网医疗有限公司 一种智能分诊的方法及系统
CN111816301A (zh) * 2020-07-07 2020-10-23 平安科技(深圳)有限公司 医疗问诊辅助方法、装置、电子设备及介质
CN112307168A (zh) * 2020-10-30 2021-02-02 康键信息技术(深圳)有限公司 基于人工智能的问诊会话处理方法、装置和计算机设备
CN112530576A (zh) * 2020-11-30 2021-03-19 百度健康(北京)科技有限公司 一种线上医患匹配方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109599187A (zh) * 2018-10-31 2019-04-09 北京春雨天下软件有限公司 一种在线问诊的分诊方法、服务器、终端、设备及介质
CN110619959A (zh) * 2019-08-09 2019-12-27 贵阳叁玖互联网医疗有限公司 一种智能分诊的方法及系统
CN111816301A (zh) * 2020-07-07 2020-10-23 平安科技(深圳)有限公司 医疗问诊辅助方法、装置、电子设备及介质
CN112307168A (zh) * 2020-10-30 2021-02-02 康键信息技术(深圳)有限公司 基于人工智能的问诊会话处理方法、装置和计算机设备
CN112530576A (zh) * 2020-11-30 2021-03-19 百度健康(北京)科技有限公司 一种线上医患匹配方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019948A (zh) * 2022-06-28 2022-09-06 苏州景昱医疗器械有限公司 控制设备、远程会诊系统和计算机可读存储介质
CN115019948B (zh) * 2022-06-28 2023-06-16 苏州景昱医疗器械有限公司 控制设备、远程会诊系统和计算机可读存储介质
CN117409921A (zh) * 2023-12-15 2024-01-16 万里云医疗信息科技(北京)有限公司 疾病结论确定方法、装置以及存储介质
CN117409921B (zh) * 2023-12-15 2024-03-12 万里云医疗信息科技(北京)有限公司 疾病结论确定方法、装置以及存储介质

Similar Documents

Publication Publication Date Title
CN108829822B (zh) 媒体内容的推荐方法和装置、存储介质、电子装置
CN111984766B (zh) 缺失语义补全方法及装置
US20230058194A1 (en) Text classification method and apparatus, device, and computer-readable storage medium
CN111666766B (zh) 数据处理方法、装置和设备
CN113658690A (zh) 一种智能导医方法、装置、存储介质以及电子设备
CN112420151A (zh) 一种超声报告后结构化解析方法、系统、设备和介质
CN111145903A (zh) 获取眩晕症问诊文本的方法、装置、电子设备及问诊系统
CN113571184B (zh) 一种用于精神健康测评的对话交互设计方法及系统
CN113707299A (zh) 基于问诊会话的辅助诊断方法、装置及计算机设备
CN113689951A (zh) 一种智能导诊方法、系统和计算机可读存储介质
WO2021129411A1 (zh) 文本处理方法及装置
CN113204675A (zh) 一种基于跨模态物体推理网络的跨模态视频时刻检索方法
CN112768070A (zh) 一种基于对话交流的精神健康评测方法和系统
CN111160049B (zh) 文本翻译方法、装置、机器翻译系统和存储介质
CN109284497B (zh) 用于识别自然语言的医疗文本中的医疗实体的方法和装置
CN115935194A (zh) 基于共识嵌入空间和相似度的视觉和文本跨模态匹配方法
Alsharid et al. Gaze-assisted automatic captioning of fetal ultrasound videos using three-way multi-modal deep neural networks
CN114022687B (zh) 一种基于增强学习的图像描述对抗生成方法
CN114464326A (zh) 基于多模态颈动脉数据的冠心病预测系统
CN112597299A (zh) 文本的实体分类方法、装置、终端设备和存储介质
CN115496140B (zh) 一种多模态虚假新闻检测方法及系统
CN116130088A (zh) 多模态面诊问诊方法、装置及相关设备
CN114625960A (zh) 线上考评方法、装置、电子设备及存储介质
CN116226320A (zh) 一种预测下文信息的方法、装置、电子设备及存储介质
CN114068028A (zh) 医疗问诊数据处理方法及装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220525

Address after: 518000 China Aviation Center 2901, No. 1018, Huafu Road, Huahang community, Huaqiang North Street, Futian District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Ping An medical and Health Technology Service Co.,Ltd.

Address before: Room 12G, Area H, 666 Beijing East Road, Huangpu District, Shanghai 200001

Applicant before: PING AN MEDICAL AND HEALTHCARE MANAGEMENT Co.,Ltd.