CN106709254B - 一种医疗诊断机器人系统 - Google Patents

一种医疗诊断机器人系统 Download PDF

Info

Publication number
CN106709254B
CN106709254B CN201611242609.5A CN201611242609A CN106709254B CN 106709254 B CN106709254 B CN 106709254B CN 201611242609 A CN201611242609 A CN 201611242609A CN 106709254 B CN106709254 B CN 106709254B
Authority
CN
China
Prior art keywords
medical
patient
data
system module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611242609.5A
Other languages
English (en)
Other versions
CN106709254A (zh
Inventor
孙哲南
曹冬
李琦
谭铁牛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Intelligent Identification Co ltd
Original Assignee
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co Ltd filed Critical Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co Ltd
Priority to CN201611242609.5A priority Critical patent/CN106709254B/zh
Publication of CN106709254A publication Critical patent/CN106709254A/zh
Application granted granted Critical
Publication of CN106709254B publication Critical patent/CN106709254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

本发明公开了一种医疗诊断机器人系统,包括语音系统模块、图像处理系统模块、图像识别检测系统模块和医学知识库云服务系统模块,其中,语音系统模块,用于采集需要诊断的病人的语音信息;图像识别检测系统模块与图像处理系统模块相连接,医学知识库云服务系统模块,分别与语音系统模块和图像识别检测系统模块相连接,用于存储预设的医学知识库,在所述医学知识库中筛选出对应的诊断数据并发送给用户。本发明公开的一种医疗诊断机器人系统,其可以准确地对患者的病状和病因进行诊断,为患者提出理想的诊断治疗方案,能够节约患者宝贵的治疗时间,保证患者及时得到治疗,满足广大患者对就医诊断的迫切要求,提高人们的生活品质。

Description

一种医疗诊断机器人系统
技术领域
本发明涉及语音识别领域、图像识别领域、医学领域、数据库云计算等技术领域,特别是涉及一种医疗诊断机器人系统。
背景技术
目前,随着人类科学技术的不断发展,深度学习(Deep Learning)正在成为机器学习领域的一个新兴领域。近几年,有关深度学习的应用越来越广,已经涉及到语音识别、图像识别、自然语言处理等领域。深度学习并将继续影响到机器学习和人工智能的其它关键领域。
在人工智能和大数据云计算这两个领域中,首先深度学习模型的出现带来了众多领域的变革,以往许多所不能解决的问题如无人驾驶都已经成为现实,医疗领域也不例外,深度学习已经在向医疗诊断领域迈进,另外大数据云计算也同样为其他各领域提供了各种实现的可能。
目前,我国拥有的高水平的良医与我国广大的人口数量相比较,相对较少,医生和护士的医疗资源十分紧缺,而且主要的专家一般集中在中心城市的少数几个大医院,由于他们需要面对来自全国各地的患者,患者数量多,导致有时在一些医院,普通患者甚至可能要排上几周甚至几个月,才能得到诊治。而在偏远地区的医院,所拥有的医生资源就更加的稀少了,时常出现因无法及时进行医疗的情况,无法及时为患者生命健康提供有效的医疗保障。
因此,目前迫切需要开发出一种技术,其可以准确地对患者的病状和病因进行诊断,为患者提出理想的诊断治疗方案,能够节约患者宝贵的治疗时间,保证患者及时得到治疗,满足广大患者对就医诊断的迫切要求,提高人们的生活品质。
发明内容
有鉴于此,本发明的目的是提供一种医疗诊断机器人系统,其可以准确地对患者的病状和病因进行诊断,为患者提出理想的诊断治疗方案,能够节约患者宝贵的治疗时间,保证患者及时得到治疗,满足广大患者对就医诊断的迫切要求,提高人们的生活品质,具有重大的生产实践意义。
为此,本发明提供了一种医疗诊断机器人系统,包括:
语音系统模块,用于采集需要诊断的病人的语音信息,并将病人的语音信息转化成预设的语音特征数据,然后发送给医学知识库云服务系统模块;
图像处理系统模块,用于接收外部图像采集设备所采集的病人的患病部位图像,然后执行预处理操作后,将经过预处理的所述病人的患病部位图像发送给图像识别检测系统模块;
图像识别检测系统模块,其作为深度学习的系统模块,与图像处理系统模块相连接,用于接收所述图像处理系统模块发来的所述病人的患病部位图像,并提取和识别出其中需要诊断的病人的患病部位图像信息,然后发送给医学知识库云服务系统模块;
医学知识库云服务系统模块,分别与语音系统模块和图像识别检测系统模块相连接,用于存储预设的医学知识库,并在接收到所述语音系统模块发来的预设的病人语音特征数据或所述图像识别检测系统模块发来的病人的患病部位图像信息后,在所述医学知识库中筛选出对应的诊断数据并发送给用户。
其中,所述医学知识库包括医学专家数据库、医疗案例数据库和医学诊断知识数据库以及它们之间的对应关系;
所述医学专家数据库包括预设多个医学专家数据;
所述医疗案例数据库包括预设多个医疗案例数据,所述医疗案例数据包括预先存储的多个语音特征数据和患病部位图像信息;
所述医学诊断知识数据库包括中医诊断数据和西医诊断数据,所述诊断数据包括诊断结果和治疗方案。
其中,在所述图像处理系统模块中,所述预处理操作为光照补偿操作。
其中,所述图像识别检测系统模块包括神经网络建立子模块、神经网络训练子模块和图像检测识别子模块,其中:
神经网络建立子模块,用于建立预设卷积神经网络,所述预设卷积神经网络包括依次对所输入的图像进行处理的输入层、第一层隐藏层、第二层隐藏层、第三层隐藏层和输出层;
神经网络训练子模块,与神经网络建立子模块相连接,用于预先采集多个预设标准患病部位图像输入到所述预设卷积神经网络中,对所述预设卷积神经网络进行训练,直到使得所述预设卷积神经网络的模型收敛,完成所述预设卷积神经网络的训练;
图像检测识别子模块,分别与图像处理系统模块和神经网络训练子模块相连接,用于将经过所述图像处理系统模块预处理的所述病人的患病部位图像,输入到所述神经网络训练子模块完成训练的所述预设卷积神经网络中,识别获得所述病人的患病部位图像对应的深度卷积特征,然后将该深度卷积特征输入到所述输出层的预设分类器中进行病状部位分类,区分出所述病人的患病部位图像中与诊断有关的病症信息和与诊断无关的图像信息,并将所述病人的患病部位图像中与诊断有关的病症信息作为需要诊断的病人的患病部位图像信息。
其中,所述医学知识库云服务系统模块包括医学知识库存储子模块、病人诊断信息预处理子模块,检索对比子模块和诊断数据识别输出子模块,其中:
医学知识库存储子模块,用于预先存储医学知识库,所述医学知识库包括医学专家数据库、医疗案例数据库和医学诊断知识数据库以及它们之间的对应关系;
检索对比子模块,分别与语音系统模块、图像识别检测系统模块和医学知识库存储子模块相连接,用于接收所述语音系统模块发来的预设的病人语音特征数据或所述图像识别检测系统模块发来的病人的患病部位图像信息,并从所述医学知识库存储子模块存储的医学知识库中进行医疗案例数据的检索与比对,获得与预设的病人语音特征数据或者病人的患病部位图像信息对应的所述医疗案例数据库中的全部医疗案例数据;
诊断数据识别输出子模块,与检索对比子模块相连接,用于根据所述检索对比子模块输出的与预设的病人语音特征数据或者病人的患病部位图像信息对应的全部医疗案例数据,选择其中相似度最高的医疗案例数据,然后在所述医学知识库存储子模块存储的医学知识库中的医学诊断知识数据库中,筛选出与该相似度最高的医疗案例数据所对应的诊断数据,即获得对应的诊断结果和治疗方案,然后反馈给用户。
其中,所述检索对比子模块,用于把经过病人诊断信息预处理子模块处理后获得的诊断信息与所述医疗案例数据库中的预设多个医疗案例数据进行对比,匹配出其中相似度大于预设数值的全部医疗案例数据,以作为与预设的病人语音特征数据或者病人的患病部位图像信息对应的所述医疗案例数据库中的全部医疗案例数据,并输出给诊断数据识别输出子模块。
其中,还包括医疗案例更新系统模块,与所述诊断数据识别输出子模块相连接,用于将所述检索对比子模块输出的与预设的病人语音特征数据或者病人的患病部位图像信息作为新的一个医疗案例数据添加到所述医疗案例数据库中,并将所述诊断数据识别输出子模块筛选出的对应的诊断数据作为新的诊断数据添加到所述医学诊断知识数据库中,并存储该新的一个医疗案例数据和该新的诊断数据之间的映射关系。
其中,所述医学知识库云服务系统模块为云端服务器。
由以上本发明提供的技术方案可见,与现有技术相比较,本发明提供了一种医疗诊断机器人系统,其可以准确地对患者的病状和病因进行诊断,为患者提出理想的诊断治疗方案,能够节约患者宝贵的治疗时间,保证患者及时得到治疗,满足广大患者对就医诊断的迫切要求,提高人们的生活品质,具有重大的生产实践意义。
附图说明
图1为本发明提供的一种医疗诊断机器人系统的结构方框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和实施方式对本发明作进一步的详细说明。
图1为本发明提供的一种医疗诊断机器人系统的结构方框图。
参见图1,本发明提供的一种医疗诊断机器人系统,包括语音系统模块100、图像处理系统模块200、图像识别检测系统模块300、医学知识库云服务系统模块400,其中:
语音系统模块100,用于采集需要诊断的病人的语音信息(一般通过病人和病人的家属、朋友采集),并将病人的语音信息转化成预设的语音特征数据(即本发明系统所需要的语音特征数据,例如为MP3或者WAV格式的语音文件),然后发送给医学知识库云服务系统模块400;
图像处理系统模块200,用于接收外部图像采集设备(例如手机或者计算机)所采集的病人的患病部位图像,然后执行预处理操作后,将经过预处理的所述病人的患病部位图像发送给图像识别检测系统模块300;
图像识别检测系统模块300,其作为深度学习的系统模块,与图像处理系统模块200相连接,用于接收所述图像处理系统模块200发来的所述病人的患病部位图像,并提取和识别出其中需要诊断的病人的患病部位图像信息,然后发送给医学知识库云服务系统模块400;
医学知识库云服务系统模块400,分别与语音系统模块100和图像识别检测系统模块300相连接,用于存储预设的医学知识库,并在接收到所述语音系统模块100发来的预设的病人语音特征数据或所述图像识别检测系统模块300发来的病人的患病部位图像信息(所述预设的病人语音特征数据和病人的患病部位图像信息一起可以统称为病人病症信息)后,在所述医学知识库中筛选出对应的诊断数据并发送给用户(例如直接发送给用户的手机、平板电脑等移动终端);
其中,所述医学知识库优选为预先存储在云端服务器中,所述医学知识库包括医学专家数据库、医疗案例数据库和医学诊断知识数据库以及它们之间的对应关系(即映射关系,例如一一对应关系或者一对多的关系);
所述医学专家数据库包括预设多个医学专家数据;
所述医疗案例数据库包括预设多个医疗案例数据,所述医疗案例数据包括预先存储的多个语音特征数据和患病部位图像信息(具体可以包括全国现有医院具有的所有病人的语音特征数据和患病部位图像信息);
所述医学诊断知识数据库包括中医诊断数据和西医诊断数据,所述诊断数据包括诊断结果和治疗方案。
在本发明中,语音系统模块100可以为现有任意一种能够将病人的语音信息转换为预设的语音特征数据(例如为MP3或者WAV格式的语音文件)的语音模块,例如可以为连接有麦克风的音频模块。因此,所述语音系统模块100可以接收所需诊断的病人从移动端或PC端传来的语音信号,通过对语音信号进行语意解析,将病人的语音信号转化成系统所需要的语音特征特征数据,再将这些语音特征数据直接传送到医学知识库云服务系统模块400,由医学知识库云服务系统模块400进行识别与比对。
在本发明中,所述外部图像采集设备可以为任意一种具有图像采集并传输功能的设备,例如手机、平板电脑或者计算机。
在本发明中,在所述图像处理系统模块200中,所述预处理操作优选为光照补偿操作,因此,通过光照补偿来提高病人患病部位图像的质量,最后再把预处理后的图像传送到图像识别检测系统模块300,在图像识别检测系统模块300中进行识别与特征提取。
在本发明中,对于所述图像识别检测系统模块300,其包括神经网络建立子模块、神经网络训练子模块和图像检测识别子模块,这三个子模块分别进行神经网络各层的建立过程、神经网络训练过程和视频图像检测识别过程三部分的处理操作,其中:
神经网络建立子模块,用于建立预设卷积神经网络(Convolutional NeuralNetwork,CNN),所述预设卷积神经网络包括依次对所输入的图像进行处理的输入层、第一层隐藏层、第二层隐藏层、第三层隐藏层和输出层;
神经网络训练子模块,与神经网络建立子模块相连接,用于预先采集多个预设标准的患病部位图像(例如用户指定的尺寸大小的患病部位图像) 输入到所述预设卷积神经网络中,对所述预设卷积神经网络进行训练,直到使得所述预设卷积神经网络的模型收敛,完成所述预设卷积神经网络的训练;
图像检测识别子模块,分别与图像处理系统模块200和神经网络训练子模块相连接,用于将经过所述图像处理系统模块200预处理的所述病人的患病部位图像,输入到所述神经网络训练子模块完成训练的所述预设卷积神经网络中,识别获得所述病人的患病部位图像对应的深度卷积特征,然后将该深度卷积特征输入到所述输出层的预设分类器中进行病状部位分类,区分出所述病人的患病部位图像中与诊断有关的病症信息和与诊断无关的图像信息,并将所述病人的患病部位图像中与诊断有关的病症信息作为需要诊断的病人的患病部位图像信息。
在本发明中,具体实现上,分类器的作用是根据前面卷积神经网络提取的特征,对所述病人的患病部位图像的类别进行病状部位分类。具体实现上,本发明可以采用softmax分类器。所述病人的患病部位图像的类别可以根据用户的需要在本发明的系统中预先设置,类别可以包括手部类、脚部类、头部、背部类和胸部类,当然还可以为其他的病状部位分类。
对于softmax分类器,其可以计算不同类别的深度卷积特征的概率分布,根据不同概率分布来判断病人的患病部位图像的类别。具体的操作过程是前一层的输出是一系特征值,通过将这些特征值乘以不同的权重然后进行归一化处理,即可得到不同表情的概率分布。
在本发明中,具体实现上,对于神经网络建立子模块(这句话同时删掉),其根据要训练大量的医疗诊断数据和时间效率两方面的因素考虑,建立一个包含输入层、中间三个隐藏层、一个输出层的BP神经网络模型,其中输入层包含有近百个(或者其他任意多个)含有医疗诊断数据特征的节点,第一层隐藏层含有的节点数可以为55个(或者其他预设多个),第二层隐藏层的节点数可以为35个(或者其他预设多个),第三层隐藏层的节点数为35个(或者其他预设多个),其中每个隐藏层的节点与上层的输出值都具有映射关系,输出层可以包含有20个(或者其他预设多个)具有医疗诊断数据特征(如上述的病状部位分类)的节点,另外,本发明的预设卷积神经网络中,可以利用softmax分类器做输出层,以进行最后病人的患病部位图像特征的识别与分类(如上述的病状部位分类)。
在本发明中,具体实现上,在预设卷积神经网络中,各层的各节点可以采用人工或随机方法的设定相应的数学模型和相关参数,在输入层中,各节点设定的输入值为所需相应的医疗诊断数据特征,两个隐藏层还有最后的输出层中对应节点的输入值分别为上一层输出的医疗诊断特征对应的值,另外每层都设置好相应的权值参数ω和偏置参数κ,进而各层之间的输入和输出关系表示为:y=ωx+κ,其中,x表示输入神经元,y表示输出神经元,w为权重,κ为偏置。
在本发明中,具体实现上,对于神经网络训练子模块,其采用优化的 BP算法进行对预设卷积神经网络的训练,首先在训练之前,通过设定阈值和权值,使阈值和权值进行从-1到1范围内的随机初始化,在数据拟合时,本发明利用Sigmoid双余弦正切函数作为激励函数,把它放到中间层输出之后,来保证输出节点的值能在(0,1)这个范围内,另外,本发明可以通过设置一个损失函数loss来判断误差,损失函数的计算公式为:
其中,Y0为预设卷积神经网络的预测输出,而Ytrue为对应的标定输出,当最后的标定输出Ytrue与预测输出Y0相差很远时,这时对应的损失函数loss 就会很大,预设卷积神经网络就会进行误差反传来更新网络的模型参数,当预设卷积神经网络每训练一次,对应的各层的权值参数ω和偏置参数κ就会更新一次,进而使最后的标定输出Ytrue与预测输出Y0差值越来越小,当预设卷积神经网络经过多次训练后,这时loss就会小于一定阈值,预设卷积神经网络中止训练,此时的训练过程结束,完成所述预设卷积神经网络的训练。
在本发明中,具体实现上,对于图像检测识别子模块,其基于神经网络训练子模块训练好的所述预设卷积神经网络,来对经过所述图像处理系统模块200预处理的所述病人的患病部位图像进行检测,识别获取病人的患病部位图像对应的深度卷积特征,再把这些病人的深度卷积特征输入到输出层softmax分类器中,区分出所述病人的患病部位图像中与诊断有关的病症信息和与诊断无关的图像信息,并将所述病人的患病部位图像中与诊断有关的病症信息作为需要诊断的病人的患病部位图像信息,从而得到最终病人的患病部位图像的分类与识别结果。
需要说明的是,对于本发明,图像识别检测系统模块300的作用过程包括神经网络各层的建立过程、神经网络训练过程和视频图像检测识别过程,本发明可以通过采用优化的误差反向传播(BP)算法来加快训练过程的收敛速度,进而避免因训练大量医学方面的样本而陷入局部极小的情况,通过模型训练来自动学习医生或医疗诊断的病理的分析过程;另外本发明通过设计恰当的误差反向传播BP网络结构和初始权值范围,来优化加速整个医疗诊断模型,最后做出针对大量医疗诊断数据的正确及时分析。
在本发明中,对于所述医学知识库云服务系统模块400,其包括医学知识库存储子模块、检索对比子模块和诊断数据识别输出子模块,其中,检索对比子模块和诊断数据识别输出子模块这两个子模块分别从云端数据库中进行医疗案例检索与比对和诊断治疗方案输出两个部分的处理操作,其中:
医学知识库存储子模块,用于预先存储医学知识库(优选为预先存储在云端服务器中),所述医学知识库包括医学专家数据库、医疗案例数据库和医学诊断知识数据库以及它们之间的对应关系(例如一一对应关系或者一对多的关系);
在本发明中,需要说明的是,如前所述,可以通过图像识别检测系统模块300(作为深度学习系统模块)设计优化训练好的预设卷积神经网络 (即深度卷积模型)来区分过滤:在训练预设卷积神经网络模型时,本发明可以把多个预设标准患病部位图像中存在的各种大量的病症信息与同时对应的无关图像特征信息分别进行正负分类(即分别作为正样本和负样本) 进行训练,训练时,将预先获取学习各种病症信息所有关与无关的深度卷积特征,再将该深度卷积特征输入到预设卷积神经网络模型的输出层中预设的分类器中,以进行病状部位分类,最终获得能够有效地把病症信息(即与诊断有关信息)和与诊断无关的其他图像信息进行区分,以判断分类的卷积神经网络模型,在接受到病人传来的患病部位图像信息后送到预设卷积神经网络模型中,进而过滤掉与诊断无关的图像特征信息,输出与诊断有关的病人的病症信息(即需要诊断的患病部位图像信息)。
检索对比子模块,分别与语音系统模块100、图像识别检测系统模块 300和医学知识库存储子模块相连接,用于接收所述语音系统模块100发来的预设的病人语音特征数据或所述图像识别检测系统模块300发来的病人的患病部位图像信息(所述预设的病人语音特征数据和病人的患病部位图像信息一起可以统称为病人病症信息),并从所述医学知识库存储子模块存储的医学知识库中进行医疗案例的检索与比对,获得与预设的病人语音特征数据或者病人的患病部位图像信息对应的所述医疗案例数据库中的医疗案例数据;
需要说明的是,对于本发明,具体实现上,可以预先在云端服务器中建立医学知识库,所述医学知识库包括医学专家数据库、医疗案例数据库和医学诊断知识数据库以及它们之间的对应关系(例如一一对应关系或者一对多的关系);然后,通过检索对比子模块把所需诊断的特征数据(如语音特征数据和患病部位图像信息)与所述医疗案例数据库中的预设多个医疗案例数据(例如可以包含全国现有医院具有的所有病人的语音特征数据和患病部位图像信息)进行对比,匹配出其中相似度大于预设数值(例如为99%)的全部医疗案例数据,以作为与预设的病人语音特征数据或者病人的患病部位图像信息对应的所述医疗案例数据库中的全部医疗案例数据,并输出给诊断数据识别输出子模块;
诊断数据识别输出子模块,与检索对比子模块相连接,用于根据所述检索对比子模块输出的与预设的病人语音特征数据或者病人的患病部位图像信息对应的全部医疗案例数据,选择其中相似度最高的医疗案例数据,然后在所述医学知识库存储子模块存储的医学知识库中的医学诊断知识数据库中,筛选出与该相似度最高的医疗案例数据所对应的诊断数据(即为所述医学知识库中存储的治疗效果最佳的诊断数据),即获得对应的诊断结果和治疗方案,然后反馈给用户。
对于本发明,具体实现上,本发明提供的医疗诊断机器人系统还包括医疗案例更新系统模块,与所述诊断数据识别输出子模块相连接,用于将所述检索对比子模块输出的与预设的病人语音特征数据或者病人的患病部位图像信息作为新的一个医疗案例数据添加到所述医疗案例数据库中,并将所述诊断数据识别输出子模块筛选出的对应的诊断数据作为新的诊断数据添加到所述医学诊断知识数据库中,并存储该新的一个医疗案例数据和该新的诊断数据之间的映射关系。
因此,本发明提供的医疗诊断机器人系统中,可以让医学知识库云服务系统又具有自我学习的功能,能够把刚刚诊断的新的案例进行学习,并把学习的新的诊断案例添加到云端数据库中。
需要说明的是,对于本发明,医学知识库云服务系统模块400可以对语音系统模块100和图像识别检测系统模块300传来的病人的病症信息来进行分析与比对,本发明的医学知识库云服务系统模块的数据库中涵盖了海量的医学专家数据、医学知识数据(中医诊断数据与西医诊断数据)、医疗案例数据,从而能够实时有效对传来的病症信息进行筛选与比对分析,同时具有自我学习、自我管理、并能接受来自大量移动端请求的功能,进行及时有效地医疗诊断与反馈。
对于本发明提供的一种医疗诊断机器人系统,其为用户进行服务的整体流程如下:
首先,病人患者可以根据自己的情况选择是在PC端还是在移动端登录本发明的医学诊断机器人系统,登录成功后患者需要对是否是初诊病情进行选择判断,然后病人患者需要自我描述病情且录音,并且上传相关病情或患病部位的图像等。
然后,系统会把病人患者自述的语音信息传送到语音系统模块,语音系统模块先对语音信号进行语意解析,实现将病人的语音信号转化成系统所需要的语音特征信息,再将这些语音特征直接传送到医学知识库云服务系统模块进行识别与比对;
此外,本发明的系统可以先将病人上传的的相关病情或患病部位的图像进行预处理操作,主要进行光照补偿操作来增强图像的质量,然后把预处理后的图像传送到图像识别检测系统模块,在本此模块的神经网络中进行对图像特征的识别分类,最后在把识别到的病人图像特征(具体为患病部位图像信息)传送到医学知识库云服务系统模块中进行筛选与比对分析;
在本发明中,事先由所述语音系统模块100和所述图像识别检测系统模块300是对传来的病人病症信息(所述预设的病人语音特征数据和病人的患病部位图像信息一起可以统称为病人病症信息)进行预处理操作,过滤掉跟诊断无关的特征信息;接着从医学知识库云服务系统模块建立的医学知识库(是云端数据库)中进行医疗诊断案例检索与比对,通过相似度计算,把相似度高于99%的案例与病人的诊断的特征数据进行匹配,得到对应的诊断结果(即对应的所述医疗案例数据库中的医疗案例数据)
最后,把得到的诊断结果输送到医学知识库云服务系统模块建立的医学知识库中的医学专家数据库和医疗案例数据库中进行检索和比对,把相似度最高的和治疗效果最佳的相似案例进行筛检,最后做相应的调整,输出最后的诊断结果和治疗方案,并将结果及时反馈给诊断病人,同时医学知识库云服务系统模块又具有自我学习的功能,把刚刚诊断的新的案例进行学习,并把学习的新的诊断案例添加到云端数据库中。
因此,基于以上技术方案可知,本发明包括以下的有益效果:
首先,本发明摆脱了病人必需到医院找医生就医诊断的传统诊断模式,发明了病人本人可以在PC和移动端自助进行医疗诊断的医疗诊断机器人系统;
其次,本发明的系统加入了图像识别检测系统模块,其作为深度学习的系统模块,可以实时准确的识别出病人的图像特征信息,进而方便了病人案例的判断;
最后,本发明又添加了医学知识库云服务系统模块,可以利用大数据与云计算进行辅助,对提取出来了特征信息进行筛选与分析比对,及时准确地分析出诊断出病人的病因,并将最佳诊断治疗方案反馈给病人;
另外,本发明的基于深度学习的医疗诊断机器人系统,其可以在移动端(Android平台或者ISO平台)或PC端上运行,可以通过通讯设施与后台的医学知识库云服务系统模块完成数据交互;同时具有自我学习、自我管理、并能接受来自大量移动端请求的功能,进行及时有效地医疗诊断与反馈。
在本发明中,具体实现上,所述图像处理系统模块200和图像识别检测系统模块300可以为中央处理器CPU、数字信号处理器DSP或者单片机MCU,或者为云端服务器。
在本发明中,具体实现上,所述医学知识库云服务系统模块400可以为云端服务器,由云端服务器的数据存储器(例如硬盘)来预先存储所述医学知识库。
综上所述,与现有技术相比较,本发明提供了一种医疗诊断机器人系统,其可以准确地对患者的病状和病因进行诊断,为患者提出理想的诊断治疗方案,能够节约患者宝贵的治疗时间,保证患者及时得到治疗,满足广大患者对就医诊断的迫切要求,提高人们的生活品质,具有重大的生产实践意义。
通过使用本发明提供的技术,可以使得人们工作和生活的便利性得到很大的提高,极大地提高了人们的生活水平。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种医疗诊断机器人系统,其特征在于,包括:
语音系统模块,用于采集需要诊断的病人的语音信息,并将病人的语音信息转化成预设的语音特征数据,然后发送给医学知识库云服务系统模块;
图像处理系统模块,用于接收外部图像采集设备所采集的病人的患病部位图像,然后执行预处理操作后,将经过预处理的所述病人的患病部位图像发送给图像识别检测系统模块;
图像识别检测系统模块,其作为深度学习的系统模块,与图像处理系统模块相连接,用于接收所述图像处理系统模块发来的所述病人的患病部位图像,并提取和识别出其中需要诊断的病人的患病部位图像信息,然后发送给医学知识库云服务系统模块;
医学知识库云服务系统模块,分别与语音系统模块和图像识别检测系统模块相连接,用于存储预设的医学知识库,并在接收到所述语音系统模块发来的预设的病人语音特征数据或所述图像识别检测系统模块发来的病人的患病部位图像信息后,在所述医学知识库中筛选出对应的诊断数据并发送给用户;
所述图像识别检测系统模块包括神经网络建立子模块、神经网络训练子模块和图像检测识别子模块,其中:
神经网络建立子模块,用于建立预设卷积神经网络,所述预设卷积神经网络包括依次对所输入的图像进行处理的输入层、第一层隐藏层、第二层隐藏层、第三层隐藏层和输出层;
神经网络训练子模块,与神经网络建立子模块相连接,用于预先采集多个预设标准患病部位图像输入到所述预设卷积神经网络中,对所述预设卷积神经网络进行训练,直到使得所述预设卷积神经网络的模型收敛,完成所述预设卷积神经网络的训练;
图像检测识别子模块,分别与图像处理系统模块和神经网络训练子模块相连接,用于将经过所述图像处理系统模块预处理的所述病人的患病部位图像,输入到所述神经网络训练子模块完成训练的所述预设卷积神经网络中,识别获得所述病人的患病部位图像对应的深度卷积特征,然后将该深度卷积特征输入到所述输出层的预设分类器中进行病状部位分类,区分出所述病人的患病部位图像中与诊断有关的病症信息和与诊断无关的图像信息,并将所述病人的患病部位图像中与诊断有关的病症信息作为需要诊断的病人的患病部位图像信息。
2.如权利要求1所述的医疗诊断机器人系统,其特征在于,所述医学知识库包括医学专家数据库、医疗案例数据库和医学诊断知识数据库以及它们之间的对应关系;
所述医学专家数据库包括预设多个医学专家数据;
所述医疗案例数据库包括预设多个医疗案例数据,所述医疗案例数据包括预先存储的多个语音特征数据和患病部位图像信息;
所述医学诊断知识数据库包括中医诊断数据和西医诊断数据,所述诊断数据包括诊断结果和治疗方案。
3.如权利要求1所述的医疗诊断机器人系统,其特征在于,在所述图像处理系统模块中,所述预处理操作为光照补偿操作。
4.如权利要求1至3中任一项所述的医疗诊断机器人系统,其特征在于,所述医学知识库云服务系统模块包括医学知识库存储子模块、检索对比子模块和诊断数据识别输出子模块,其中:
医学知识库存储子模块,用于预先存储医学知识库,所述医学知识库包括医学专家数据库、医疗案例数据库和医学诊断知识数据库以及它们之间的对应关系;
检索对比子模块,分别与语音系统模块、图像识别检测系统模块和医学知识库存储子模块相连接,用于接收所述语音系统模块发来的预设的病人语音特征数据或所述图像识别检测系统模块发来的病人的患病部位图像信息,并从所述医学知识库存储子模块存储的医学知识库中进行医疗案例数据的检索与比对,获得与预设的病人语音特征数据或者病人的患病部位图像信息对应的所述医疗案例数据库中的全部医疗案例数据;
诊断数据识别输出子模块,与检索对比子模块相连接,用于根据所述检索对比子模块输出的与预设的病人语音特征数据或者病人的患病部位图像信息对应的全部医疗案例数据,选择其中相似度最高的医疗案例数据,然后在所述医学知识库存储子模块存储的医学知识库中的医学诊断知识数据库中,筛选出与该相似度最高的医疗案例数据所对应的诊断数据,即获得对应的诊断结果和治疗方案,然后反馈给用户。
5.如权利要求4所述的医疗诊断机器人系统,其特征在于,所述检索对比子模块,用于把经过病人诊断信息预处理子模块处理后获得的诊断信息与所述医疗案例数据库中的预设多个医疗案例数据进行对比,匹配出其中相似度大于预设数值的全部医疗案例数据,以作为与预设的病人语音特征数据或者病人的患病部位图像信息对应的所述医疗案例数据库中的全部医疗案例数据,并输出给诊断数据识别输出子模块。
6.如权利要求4所述的医疗诊断机器人系统,其特征在于,还包括医疗案例更新系统模块,与所述诊断数据识别输出子模块相连接,用于将所述检索对比子模块输出的与预设的病人语音特征数据或者病人的患病部位图像信息作为新的一个医疗案例数据添加到所述医疗案例数据库中,并将所述诊断数据识别输出子模块筛选出的对应的诊断数据作为新的诊断数据添加到所述医学诊断知识数据库中,并存储该新的一个医疗案例数据和该新的诊断数据之间的映射关系。
7.如权利要求1所述的医疗诊断机器人系统,其特征在于,所述医学知识库云服务系统模块为云端服务器。
CN201611242609.5A 2016-12-29 2016-12-29 一种医疗诊断机器人系统 Active CN106709254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611242609.5A CN106709254B (zh) 2016-12-29 2016-12-29 一种医疗诊断机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611242609.5A CN106709254B (zh) 2016-12-29 2016-12-29 一种医疗诊断机器人系统

Publications (2)

Publication Number Publication Date
CN106709254A CN106709254A (zh) 2017-05-24
CN106709254B true CN106709254B (zh) 2019-06-21

Family

ID=58905987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611242609.5A Active CN106709254B (zh) 2016-12-29 2016-12-29 一种医疗诊断机器人系统

Country Status (1)

Country Link
CN (1) CN106709254B (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107242857A (zh) * 2017-06-12 2017-10-13 南开大学 基于深度学习的智能中医综合诊疗系统
US10854335B2 (en) * 2017-06-16 2020-12-01 Htc Corporation Computer aided medical method and medical system for medical prediction
CN107529645B (zh) * 2017-06-29 2019-09-10 重庆邮电大学 一种基于深度学习的心音智能诊断系统及方法
WO2019047224A1 (zh) * 2017-09-11 2019-03-14 深圳市得道健康管理有限公司 基于云计算平台的中医热成像辅助诊断系统及方法
CN108053841A (zh) * 2017-10-23 2018-05-18 平安科技(深圳)有限公司 利用语音进行疾病预测的方法及应用服务器
CN107680670A (zh) * 2017-10-25 2018-02-09 华中科技大学同济医学院附属协和医院 一种无地域限制的医学图像辨识与诊断系统及方法
CN109872812A (zh) * 2017-12-05 2019-06-11 航天信息股份有限公司 一种基于卷积神经网络的虚拟医生诊断系统及方法
CN108154934A (zh) * 2017-12-20 2018-06-12 华子昂 基于智能中医机器人的数据库系统
CN108399619B (zh) * 2017-12-22 2021-12-24 联想(北京)有限公司 医疗诊断的系统及装置
CN107978377A (zh) * 2017-12-22 2018-05-01 广州动医圈网络科技有限公司 一种智能医患沟通集成平台及交互方法
CN107910064A (zh) * 2017-12-22 2018-04-13 广州动医圈网络科技有限公司 一种患者治疗方向咨询用智能医患沟通平台
CN108335746A (zh) * 2017-12-31 2018-07-27 徐建 机器人医生的脉诊诊断治疗方法
CN108257668A (zh) * 2017-12-31 2018-07-06 徐建 机器人医生的看诊诊断治疗方法
CN108257669A (zh) * 2017-12-31 2018-07-06 徐建 机器人医生的听诊诊断治疗方法
CN108231191A (zh) * 2017-12-31 2018-06-29 徐建 中医机器人医生
CN108091393A (zh) * 2017-12-31 2018-05-29 徐建 机器人医生的疾病诊断治疗方法
CN108288503A (zh) * 2017-12-31 2018-07-17 徐建 西医机器人医生
CN108198620B (zh) * 2018-01-12 2022-03-22 洛阳飞来石软件开发有限公司 一种基于深度学习的皮肤疾病智能辅助诊断系统
CN108320807A (zh) * 2018-01-18 2018-07-24 中山大学 一种鼻咽癌人工智能辅助诊疗决策云系统
CN108417206A (zh) * 2018-02-27 2018-08-17 四川云淞源科技有限公司 基于大数据的信息高速处理方法
US11636340B2 (en) 2018-04-17 2023-04-25 Bgi Shenzhen Modeling method and apparatus for diagnosing ophthalmic disease based on artificial intelligence, and storage medium
TWI745693B (zh) * 2018-05-18 2021-11-11 宏達國際電子股份有限公司 控制方法以及醫學系統
CN109346167A (zh) * 2018-08-03 2019-02-15 昆明理工大学 一种基于人工智能的诊断辅助系统
CN109346157A (zh) * 2018-09-29 2019-02-15 中关云(北京)科技有限公司 一种远程机器影像识别诊断系统及方法
CN109473168A (zh) * 2018-10-09 2019-03-15 五邑大学 一种医学影像机器人及其控制、医学影像识别方法
DE102019100228A1 (de) 2019-01-07 2020-07-09 Metralabs Gmbh Neue Technologien Und Systeme Serviceroboter
US20220108561A1 (en) 2019-01-07 2022-04-07 Metralabs Gmbh Neue Technologien Und Systeme System for capturing the movement pattern of a person
CN110070125A (zh) * 2019-04-19 2019-07-30 四川大学华西医院 一种基于大数据分析的肝胆外科治疗方案筛选方法及系统
CN110120256A (zh) * 2019-04-29 2019-08-13 吴焰南 智能针灸系统
CN110033870A (zh) * 2019-05-30 2019-07-19 广东工业大学 一种智能医疗系统
CN110288573A (zh) * 2019-06-13 2019-09-27 天津大学 一种哺乳类家畜患病自动检测方法
CN110097970A (zh) * 2019-06-26 2019-08-06 北京康健数字化健康管理研究院 一种基于深度学习的面瘫诊断系统及其系统建立方法
CN110517230B (zh) * 2019-08-06 2022-02-18 马桂文 一种足部形态分析诊断系统
CN110584618B (zh) * 2019-08-15 2023-01-06 济南市疾病预防控制中心 基于人工智能的传染病机器识别系统
CN110619962B (zh) * 2019-08-26 2023-07-21 上海同筵信息科技有限公司 一种医患共享的网络医疗服务系统
WO2021038109A1 (de) 2019-08-30 2021-03-04 Metralabs Gmbh Neue Technologien Und Systeme System zur erfassung von bewegungsabläufen und/oder vitalparametern einer person
CN110600109B (zh) * 2019-09-10 2023-12-26 安徽中科微因健康科技有限公司 一种彩色图像融合的诊断监控综合医疗系统及其融合方法
CN110597303A (zh) * 2019-09-21 2019-12-20 苏州欢益医疗科技有限公司 一种自动化医疗器械设备诊断装置
CN110867226A (zh) * 2019-11-08 2020-03-06 上海联影智能医疗科技有限公司 处理方案生成方法、装置、计算机设备和存储介质
CN111340778A (zh) * 2020-02-25 2020-06-26 中国科学院深圳先进技术研究院 一种青光眼图像处理方法和设备
CN111681779A (zh) * 2020-04-22 2020-09-18 北京捷通华声科技股份有限公司 一种医疗诊断系统
CN111543947B (zh) * 2020-05-11 2023-03-14 中北大学 中医声诊方法及系统
CN112060101A (zh) * 2020-05-26 2020-12-11 浙江鸿吉智能控制有限公司 智能护士机器人系统
CN111701150B (zh) * 2020-07-02 2022-06-17 中国科学院苏州生物医学工程技术研究所 智能光诊疗设备
CN112735565A (zh) * 2020-10-30 2021-04-30 衡阳市大井医疗器械科技有限公司 检测结果获取方法、电子设备及服务器
CN112349369A (zh) * 2020-11-27 2021-02-09 广州瀚信通信科技股份有限公司 医疗影像大数据智能分析方法、系统及存储介质
CN113140303A (zh) * 2020-12-31 2021-07-20 上海明品医学数据科技有限公司 一种医学信息的解答系统和解答方法
DE102022104499A1 (de) 2021-02-27 2022-09-01 tediro GmbH Synchronisierung von Bewegungen eines Serviceroboters mit denen einer Person
CN113096752B (zh) * 2021-03-01 2023-09-29 北京联袂义齿技术有限公司 一种口腔医学数据整理分析系统
CN113344914B (zh) * 2021-07-09 2023-04-07 重庆医科大学附属第一医院 基于图像识别智能分析ppd皮试结果的方法及装置
CN114224369B (zh) * 2021-12-21 2022-12-13 深圳市医未医疗科技有限公司 一种医学影像自动诊断系统
CN114782397B (zh) * 2022-05-12 2022-12-23 中晗控股集团有限公司 基于医学图像和机器学习的人工智能肿瘤诊断系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104083156A (zh) * 2014-07-07 2014-10-08 北京印刷学院 一种脉诊信息处理系统及其医生端处理装置
CN104992446A (zh) * 2015-07-27 2015-10-21 西安工业大学 非线性光照自适应的图像拼接方法及其实现系统
CN105393252A (zh) * 2013-04-18 2016-03-09 数字标记公司 生理数据采集和分析
CN105975743A (zh) * 2016-04-22 2016-09-28 广东宜教通教育有限公司 智能医学检测互动系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165368B2 (en) * 2008-09-29 2012-04-24 General Electric Company Systems and methods for machine learning based hanging protocols

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105393252A (zh) * 2013-04-18 2016-03-09 数字标记公司 生理数据采集和分析
CN104083156A (zh) * 2014-07-07 2014-10-08 北京印刷学院 一种脉诊信息处理系统及其医生端处理装置
CN104992446A (zh) * 2015-07-27 2015-10-21 西安工业大学 非线性光照自适应的图像拼接方法及其实现系统
CN105975743A (zh) * 2016-04-22 2016-09-28 广东宜教通教育有限公司 智能医学检测互动系统

Also Published As

Publication number Publication date
CN106709254A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106709254B (zh) 一种医疗诊断机器人系统
CN110516161B (zh) 一种推荐方法及装置
KR102166010B1 (ko) 얼굴인식을 이용한 인지장애 판단 방법 및 시스템
US20200211706A1 (en) Intelligent traditional chinese medicine diagnosis method, system and traditional chinese medicine system
CN110249392A (zh) 智能辅助诊疗系统及方法
Alkhomsan et al. Situation awareness in ambient assisted living for smart healthcare
US20050196023A1 (en) Method for real-time remote diagnosis of in vivo images
CN109581981B (zh) 一种数据融合系统及其工作方法
Pourhomayoun et al. Multiple model analytics for adverse event prediction in remote health monitoring systems
Rongjun et al. Collaborative extreme learning machine with a confidence interval for P2P learning in healthcare
CN113191479A (zh) 联合学习的方法、系统、节点及存储介质
CN111227789A (zh) 人体健康监护方法和装置
CN110489577B (zh) 医疗影像管理方法及装置、眼底影像处理方法、电子设备
CN114241270A (zh) 一种家庭护理智能监督方法、系统及装置
WO2022141925A1 (zh) 一种智能医学服务系统、方法及存储介质
CN109480775A (zh) 一种基于人工智能的新生儿黄疸识别装置、设备、系统
CN109192312A (zh) 一种心力衰竭患者不良事件智能管理系统及方法
CN109035094A (zh) 基于人工智能的教学方法、装置及终端设备
CN106778040B (zh) 一种功能评估与干预系统
CN115394406A (zh) 一种基于移动端和移动互联网的医学影像人工智能快速诊断布署方法
CN108038496A (zh) 基于大数据与深度学习的婚恋对象匹配数据处理方法、装置、计算机设备和存储介质
CN109376635B (zh) 一种护理质量考核系统及安全事件上报方法
CN111951967A (zh) 一种智能家庭健康管理系统及装置
CN110647926A (zh) 医学影像流识别方法、装置、电子设备和存储介质
TWM586599U (zh) 人工智慧雲端膚質與皮膚病灶辨識系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 300457 unit 1001, block 1, msd-g1, TEDA, No.57, 2nd Street, Binhai New Area Economic and Technological Development Zone, Tianjin

Patentee after: Tianjin Zhongke intelligent identification Co.,Ltd.

Address before: 300457 No. 57, Second Avenue, Economic and Technological Development Zone, Binhai New Area, Tianjin

Patentee before: TIANJIN ZHONGKE INTELLIGENT IDENTIFICATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd.