CN117649953A - 基于移动医疗工作站的远程诊疗方法和系统 - Google Patents

基于移动医疗工作站的远程诊疗方法和系统 Download PDF

Info

Publication number
CN117649953A
CN117649953A CN202311658899.1A CN202311658899A CN117649953A CN 117649953 A CN117649953 A CN 117649953A CN 202311658899 A CN202311658899 A CN 202311658899A CN 117649953 A CN117649953 A CN 117649953A
Authority
CN
China
Prior art keywords
disease
result
patient
medical
main controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311658899.1A
Other languages
English (en)
Inventor
汪大明
白佳委
汪谨诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbio (xiamen) Products Inc
Original Assignee
Anbio (xiamen) Products Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anbio (xiamen) Products Inc filed Critical Anbio (xiamen) Products Inc
Priority to CN202311658899.1A priority Critical patent/CN117649953A/zh
Publication of CN117649953A publication Critical patent/CN117649953A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0045—Devices for taking samples of body liquids
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hematology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pulmonology (AREA)

Abstract

本申请提供的一种基于移动医疗工作站的远程诊疗方法和系统，涉及医疗技术领域。主控制器将第一疑似病症结果和第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。由于第一疑似病症结果的准确度高且第二疑似病症结果的准确度高，进而，根据第一疑似病症结果和第二疑似病症结果得到的最终病症结果的准确度高。另外，由于主控制器、摄像头、声音采集模块、扬声器、远程通信模块、以及多个人体检查设备均位于封闭就医空间内，病人仅需在密闭的就医空间内进行就诊，安全性高，不容易将病情传染给别人。再者，移动医疗工作站可以移动设置于病人的居住地的社区、街道附近，就医距离短，人流量小，大大节省了病人的就诊时间。

Description

基于移动医疗工作站的远程诊疗方法和系统
技术领域
本申请涉及医疗技术领域，尤其涉及一种基于移动医疗工作站的远程诊疗方法和系统。
背景技术
目前，针对公共卫生应急管理(如传染病防控)检测的工作主要是由医院来执行。由于医院作为公共医疗资源的主体之一，承担了治疗病患的主要职责，通常医院的人流量较大、诊疗流程比较复杂以及与患者居住地较远等多方因素，导致患者的就医时间较长，浪费病人的时间。且若患者患上传染病，由于医院的人流量较大，容易将传染病传染给其他病人，安全性低。
因此，如何能够快速、安全以及准确地为病人诊断出病症，是目前有待解决的问题。
发明内容
本申请提供一种基于移动医疗工作站的远程诊疗方法和系统，用于解决现有技术中病人患上传染病的诊疗花费时间长、安全性低且准确性低的问题。
第一方面，本申请提供了一种基于移动医疗工作站的远程诊疗方法，应用于移动医疗工作站，移动医疗工作站包括封闭就医空间，封闭就医空间内设置有主控制器、摄像头、声音采集模块、扬声器、远程通信模块、以及多个人体检查设备，多个人体检查设备至少包括体温检测仪、体液检测设备、以及CT图像采集设备，主控制器分别与摄像头、声音采集模块、扬声器、多个人体检查设备以及远程通信模块电连接，该方法包括：
摄像头采集病人的身体图像信息并传输到主控制器，其中，身体图像信息包括病人的人脸图像；
主控制器将病人的人脸图像上传到云服务器，并接收云服务器下发的与病人的人脸图像关联的多条病历信息以及每条病历信息所处的时间段；
主控制器将病人的人脸图像关联的多条病历信息、每条病历信息所处的时间段、以及时序最后的病历信息对应的时刻距离当前时刻的时长，输入到预训练的长短记忆网络模型中预测得到第一疑似病症结果；
主控制器还从病人的人脸图像中提取病容特征，病容特征至少包括面色特征、舌苔特征、眼神特征以及表情特征；
主控制器通过远程通信模块接收云服务器中转的来自医生终端的问诊声音信息，并控制扬声器播放问诊声音信息，声音采集模块采集病人的答诊声音信息并传输至主控制器，主控制器经云服务器将答诊声音信息传输至医生终端；
主控制器提取问诊声音信息中的多个第一病症关键词以及分别对应的时刻，以及答诊声音信息中的第二病症关键词和分别对应的时刻，并基于多个第一病症关键词和分别对应的时刻，以及第二病症关键词以及分别对应的时刻，构建问答诊病症特征；
主控制器从答诊声音信息中，提取声音特征，声音特征至少包括声音的响度特征、沙哑程度特征、以及咳嗽程度特征；
主控制器将病容特征、问答诊病症特征以及声音特征输入到预训练的第一神经网络模型中，确定出多个身体检查项目，并控制扬声器播放多个身体检查项目；
主控制器接收播放的多个身体检查项目分别对应的身体检查设备发送对病人进行检查的多项身体检查结果，并根据多项身体检查结果构建体检病症特征；
主控制器对病容特征、问答诊病症特征、声音特征、体检病症特征构建总融合病症特征；
主控制器将总融合病症特征，输入到预训练的第二神经网络模型中，得到第二疑似病症结果；
主控制器将第一疑似病症结果和第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
在一种可能的实施方式中，在摄像头采集病人的身体图像信息并传输到主控制器，其中，身体图像信息包括病人的人脸图像之前，方法还包括：
主控制器将多个病人在历史上的多条历史病历信息、每条历史病历信息所处的时间段、时序最后的历史病历信息对应的时刻距离历史当前时刻的时长、以及多个病人分别对应的历史病症结果作为多个训练样本，输入到初始长短记忆网络中训练以得到长短记忆网络模型；
主控制器将多个病人在历史上的历史病容特征、历史问答诊病症特征、历史声音特征，及对应的历史身体检查项目作为多个训练样本输入到第一初始神经网络中进行训练，得到第一神经网络模型，其中，历史病容特征包括病人的历史面色特征、历史舌苔特征、历史眼神特征以及历史表情特征；
主控制器将多个病人在历史上的历史总融合病症特征及对应的历史病症结果作为多个训练样本输入到第二初始神经网络模型中训练，得到第二神经网络模型，历史总融合病症特征包括病人的历史病容特征、历史问答诊病症特征、历史声音特征、历史体检病症特征；
主控制器将多个病人在历史上的第一历史病症结果和第二历史病症结果，及对应的历史病症结果输入到第三初始神经网络模型中训练，得到第三神经网络模型，第一历史病症结果是将病人的多条历史病历信息、每条历史病历信息所处的时间段、以及时序最后的历史病历信息对应的时刻距离历史当前时刻的时长，输入到预训练的长短记忆网络模型中得到的，第二历史病症结果是将病人的历史总融合病症特征，输入到预训练的第二神经网络模型中得到的。
在一种可能的实施方式中，在主控制器将总融合病症特征，输入到预训练的第二神经网络模型中，得到第二疑似病症结果之后，方法还包括：
主控制器将总融合病症特征转换为总融合空间特征向量，总融合空间特征向量包括多个维度的第一子特征向量；
主控制器确定多个维度的第一子特征向量分别与预设的模板总融合空间特征向量集合中，每个模板总融合空间特征向量中对应维度的第二子特征向量的距离的平均值和协方差；
主控制器根据算式确定各个模板总融合空间特征向量分别与总融合空间特征向量匹配的置信度，其中，mij为各个模板总融合空间特征向量分别对应的距离的平均值，nij各个模板总融合空间特征向量分别对应的协方差，max(mij)为多个距离的平均值中的最大距离的平均值，min(mij)为多个距离的平均值中的最小距离的平均值，max(nij)为多个协方差中最大的协方差，min(nij)为多个协方差中最小的协方差，Pij为置信度；
主控制器从预设的关系表中，确定置信度最大的模板总融合空间特征向量对应的第三疑似病症结果；
主控制器将第一疑似病症结果和第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果，包括：主控制器将第一疑似病症结果、第二疑似病症结果以及第三疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
在一种可能的实施方式中，主控制器将第一疑似病症结果和第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果之后，方法还包括：
主控制器从预设的医疗知识库中查找与最终病症结果关联的至少一个医疗处方，并通过远程通信模块将医疗处方发送至病人终端。
在一种可能的实施方式中，主控制器从预设的医疗知识库中查找与最终病症结果关联的至少一个医疗处方，并通过远程通信模块将医疗处方发送至病人终端，包括：
主控制器从预设的医疗知识库中查找与最终病症结果关联的多个医疗处方；
主控制器根据病人的人脸图像，查询到病人特征信息，病人特征信息至少包括病人的年龄、性别、身高；
根据病人特征信息，从多个医疗处方中确定一个医疗处方；
通过远程通信模块将确定的医疗处方发送至病人终端。
在一种可能的实施方式中，所述主控制器从预设的医疗知识库中查找与所述最终病症结果关联的至少一个医疗处方，并通过所述远程通信模块将所述医疗处方发送至病人终端，包括：
所述主控制器从预设的医疗知识库中查找与所述最终病症结果关联的多个医疗处方；
所述主控制器根据所述病人的人脸图像，查询到病人特征信息，所述病人特征信息至少包括病人的年龄、性别、身高；
根据所述病人特征信息，从所述多个医疗处方中确定一个医疗处方；
通过所述远程通信模块将确定的医疗处方发送至病人终端。
在一种可能的实施方式中，所述通过所述远程通信模块将确定的医疗处方发送至病人终端包括：
向所述医生终端发送确定的医疗处方；
响应于来自所述医生终端的视频连接请求，将所述医生终端与所述病人终端建立视频连接；
识别所述医生终端与所述病人终端在视频交互的过程中的视频数据携带有对所述确定的医疗处方确认指令时，通过所述远程通信模块将确定的医疗处方发送至病人终端。
在一种可能的实施方式中，所述主控制器将所述第一疑似病症结果和所述第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果之后，所述方法还包括：
根据预存储的病情关系表中，确定所述最终病症结果的严重程度；
当所述最终病症结果的严重程度用于表征病情严重时，呼叫医护救助终端；或者指引患者使用紧急药品。
第二方面，本申请还提供了一种基于移动医疗工作站的远程诊疗系统，应用于移动医疗工作站的主控制器，移动医疗工作站还包括封闭就医空间，封闭就医空间内设置有摄像头、声音采集模块、扬声器、远程通信模块、以及多个人体检查设备，多个人体检查设备至少包括体温检测仪、体液检测设备、以及CT图像采集设备，主控制器分别与摄像头、声音采集模块、扬声器、多个人体检查设备以及远程通信模块电连接，系统包括：
信息收发单元，用于接收来自摄像头采集的病人的身体图像信息，其中，身体图像信息包括病人的人脸图像；
信息收发单元，还用于将病人的人脸图像上传到云服务器，并接收云服务器下发的与病人的人脸图像关联的多条病历信息以及每条病历信息所处的时间段；
第一结果生成单元，用于将病人的人脸图像关联的多条病历信息、每条病历信息所处的时间段、以及时序最后的病历信息对应的时刻距离当前时刻的时长，输入到预训练的长短记忆网络模型中预测得到第一疑似病症结果；
第一特征提取单元，用于还从病人的人脸图像中提取病容特征，病容特征至少包括面色特征、舌苔特征、眼神特征以及表情特征；
信息收发单元，还用于通过远程通信模块接收云服务器中转的来自医生终端的问诊声音信息，并控制扬声器播放问诊声音信息，接收声音采集模块采集的病人的答诊声音信息，并经云服务器将答诊声音信息传输至医生终端；
第二特征提取单元，用于提取问诊声音信息中的多个第一病症关键词以及分别对应的时刻，以及答诊声音信息中的第二病症关键词和分别对应的时刻，并基于多个第一病症关键词和分别对应的时刻，以及第二病症关键词以及分别对应的时刻，构建问答诊病症特征；
第三特征提取单元，用于从答诊声音信息中，提取声音特征，声音特征至少包括声音的响度特征、沙哑程度特征、以及咳嗽程度特征；
检查项目确定单元，用于将病容特征、问答诊病症特征以及声音特征输入到预训练的第一神经网络模型中，确定出多个身体检查项目，并控制扬声器播放多个身体检查项目；
第四特征提取单元，用于接收播放的多个身体检查项目分别对应的身体检查设备发送对病人进行检查的多项身体检查结果，并根据多项身体检查结果构建体检病症特征；
融合特征构建单元，用于对病容特征、问答诊病症特征、声音特征、体检病症特征构建总融合病症特征；
第二结果生成单元，用于将总融合病症特征，输入到预训练的第二神经网络模型中，得到第二疑似病症结果；
第三结果生成单元，用于将第一疑似病症结果和第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
在一种可能的实施方式中，本申请提供的系统还包括：
模型训练单元，用于将多个病人在历史上的多条历史病历信息、每条历史病历信息所处的时间段、时序最后的历史病历信息对应的时刻距离历史当前时刻的时长、以及多个病人分别对应的历史病症结果作为多个训练样本，输入到初始长短记忆网络中训练以得到长短记忆网络模型；将多个病人在历史上的历史病容特征、历史问答诊病症特征、历史声音特征，及对应的历史身体检查项目作为多个训练样本输入到第一初始神经网络中进行训练，得到第一神经网络模型，其中，历史病容特征包括病人的历史面色特征、历史舌苔特征、历史眼神特征以及历史表情特征；将多个病人在历史上的历史总融合病症特征及对应的历史病症结果作为多个训练样本输入到第二初始神经网络模型中训练，得到第二神经网络模型，历史总融合病症特征包括病人的历史病容特征、历史问答诊病症特征、历史声音特征、历史体检病症特征；将多个病人在历史上的第一历史病症结果和第二历史病症结果，及对应的历史病症结果输入到第三初始神经网络模型中训练，得到第三神经网络模型，第一历史病症结果是将病人的多条历史病历信息、每条历史病历信息所处的时间段、以及时序最后的历史病历信息对应的时刻距离历史当前时刻的时长，输入到预训练的长短记忆网络模型中得到的，第二历史病症结果是将病人的历史总融合病症特征，输入到预训练的第二神经网络模型中得到的。
在一种可能的实施方式中，本申请提供的系统还包括第四结果生成单元，用于将总融合病症特征转换为总融合空间特征向量，总融合空间特征向量包括多个维度的第一子特征向量；确定多个维度的第一子特征向量分别与预设的模板总融合空间特征向量集合中，每个模板总融合空间特征向量中对应维度的第二子特征向量的距离的平均值和协方差；根据算式确定各个模板总融合空间特征向量分别与总融合空间特征向量匹配的置信度，其中，mij为各个模板总融合空间特征向量分别对应的距离的平均值，nij各个模板总融合空间特征向量分别对应的协方差，max(mij)为多个距离的平均值中的最大距离的平均值，min(mij)为多个距离的平均值中的最小距离的平均值，max(nij)为多个协方差中最大的协方差，min(nij)为多个协方差中最小的协方差，Pij为置信度；从预设的关系表中，确定置信度最大的模板总融合空间特征向量对应的第三疑似病症结果；
第三结果生成单元，具体用于将第一疑似病症结果、第二疑似病症结果以及第三疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
在一种可能的实施方式中，该系统还包括：
医疗处方发送单元，用于从预设的医疗知识库中查找与最终病症结果关联的至少一个医疗处方，并通过远程通信模块将医疗处方发送至病人终端。
第三方面，本申请提供了一种移动医疗工作站，包括封闭就医空间，封闭就医空间内设置有主控制器、摄像头、声音采集模块、扬声器、远程通信模块、以及多个人体检查设备，多个人体检查设备至少包括体温检测仪、体液检测设备、以及CT图像采集设备，主控制器分别与摄像头、声音采集模块、扬声器、多个人体检查设备以及远程通信模块电连接，主控制器用于执行本申请第一方面提供的方法。
第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，使得计算机用于执行本申请第一方面提供的方法。
本申请提供一种基于移动医疗工作站的远程诊疗方法和系统，主控制器将病人的人脸图像关联的多条病历信息、每条病历信息所处的时间段、以及时序最后的病历信息对应的时刻距离当前时刻的时长，输入到预训练的长短记忆网络模型中预测得到第一疑似病症结果。可以理解地，病人在不同时间段的病历可以表征病人的病情在不同时间段的发展情况，最后的病历信息对应的时刻距离当前时刻的时长可以用于表征上一次的病情到现在的病情的疾病发展时长，并且由于长短记忆网络模型是时间循环神经网络模型，能够根据每条病历信息所处的时间段、以及时序最后的病历信息对应的时刻距离当前时刻的时长，准确地预测出第一疑似病症结果。
主控制器还从病人的人脸图像中提取病容特征，病容特征至少包括面色特征、舌苔特征、眼神特征以及表情特征。可以理解地，病人的人脸图像中提取病容特征能够在一定程度上表征病人的病情信息。
主控制器通过远程通信模块接收云服务器中转的来自医生终端的问诊声音信息，并控制扬声器播放问诊声音信息，声音采集模块采集病人的答诊声音信息并传输至主控制器，主控制器经云服务器将答诊声音信息传输至医生终端；主控制器提取问诊声音信息中的多个第一病症关键词以及分别对应的时刻，以及答诊声音信息中的第二病症关键词和分别对应的时刻，并基于多个第一病症关键词和分别对应的时刻，以及第二病症关键词以及分别对应的时刻，构建问答诊病症特征。可以理解地，在病人和医生之间进行问诊和答诊的交互过程中，包含了对病人的病情的描述信息。因此，基于问诊声音信息中的多个第一病症关键词和答诊声音信息中的第二病症关键词构建问答诊病症特征能够在一定程度上表征病人的病情信息。
主控制器从答诊声音信息中，提取声音特征，声音特征至少包括声音的响度特征、沙哑程度特征、以及咳嗽程度特征。可以理解地，从答诊声音信息中，提取的声音特征也能够在一定程度表征病人的病情信息。
主控制器将病容特征、问答诊病症特征以及声音特征输入到预训练的第一神经网络模型中，确定出多个身体检查项目，并控制扬声器播放多个身体检查项目。
主控制器接收播放的多个身体检查项目分别对应的身体检查设备发送对病人进行检查的多项身体检查结果，并根据多项身体检查结果构建体检病症特征。可以理解地，体检病症特征能够在一定程度上表征病人的病情信息。
主控制器对病容特征、问答诊病症特征、声音特征、体检病症特征构建总融合病症特征。主控制器将总融合病症特征，输入到预训练的第二神经网络模型中，得到第二疑似病症结果。可以理解地，总融合病症特征包括了多个维度的病情特征，能够准确、清楚、详实地病人的病情信息，进而根据总融合病症特征的得到第二疑似病症结果的准确度高。
主控制器将第一疑似病症结果和第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。由于第一疑似病症结果的准确度高且第二疑似病症结果的准确度高，进而，根据第一疑似病症结果和第二疑似病症结果得到的最终病症结果的准确度高。
另外，由于主控制器、摄像头、声音采集模块、扬声器、远程通信模块、以及多个人体检查设备均位于封闭就医空间内，病人仅需在密闭的就医空间内进行就诊，安全性高，不容易将病情传染给别人。再者，移动医疗工作站可以移动设置于病人的居住地的社区、街道附近，就医距离短，人流量小，大大节省了病人的就诊时间。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的移动医疗工作站的电路模块连接框图；
图2为本申请实施例提供的基于移动医疗工作站的远程诊疗方法的流程图；
图3为本申请实施例提供的基于移动医疗工作站的远程诊疗系统的功能单元框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
下面，以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种基于移动医疗工作站的远程诊疗方法，应用于移动医疗工作。移动医疗工作站包括封闭就医空间，封闭就医空间内设置有主控制器101、摄像头102、声音采集模块103、扬声器104、远程通信模块105、以及多个人体检查设备106。多个人体检查设备106至少包括体温检测仪、体液检测设备、以及CT图像采集设备。如图1所示，主控制器101分别与摄像头102、声音采集模块103、扬声器104、多个人体检查设备106以及远程通信模块105电连接。如图2所示，该方法包括：
S201：摄像头102采集病人的身体图像信息并传输到主控制器101，其中，身体图像信息包括病人的人脸图像。
S202：主控制器101将病人的人脸图像上传到云服务器，并接收云服务器下发的与病人的人脸图像关联的多条病历信息以及每条病历信息所处的时间段。
S203：主控制器101将病人的人脸图像关联的多条病历信息、每条病历信息所处的时间段、以及时序最后的病历信息对应的时刻距离当前时刻的时长，输入到预训练的长短记忆网络模型中预测得到第一疑似病症结果。
S204：主控制器101还从病人的人脸图像中提取病容特征，病容特征至少包括面色特征、舌苔特征、眼神特征以及表情特征。
S205：主控制器101通过远程通信模块105接收云服务器中转的来自医生终端的问诊声音信息，并控制扬声器104播放问诊声音信息，声音采集模块103采集病人的答诊声音信息并传输至主控制器101，主控制器101经云服务器将答诊声音信息传输至医生终端。
S206：主控制器101提取问诊声音信息中的多个第一病症关键词以及分别对应的时刻，以及答诊声音信息中的第二病症关键词和分别对应的时刻，并基于多个第一病症关键词和分别对应的时刻，以及第二病症关键词以及分别对应的时刻，构建问答诊病症特征。
S207：主控制器101从答诊声音信息中，提取声音特征，声音特征至少包括声音的响度特征、沙哑程度特征、以及咳嗽程度特征。
S208：主控制器101将病容特征、问答诊病症特征以及声音特征输入到预训练的第一神经网络模型中，确定出多个身体检查项目，并控制扬声器104播放多个身体检查项目。
S209：主控制器101接收播放的多个身体检查项目分别对应的身体检查设备发送对病人进行检查的多项身体检查结果，并根据多项身体检查结果构建体检病症特征。
S210：主控制器101对病容特征、问答诊病症特征、声音特征、体检病症特征构建总融合病症特征。
S211：主控制器101将总融合病症特征，输入到预训练的第二神经网络模型中，得到第二疑似病症结果。
S212：主控制器101将第一疑似病症结果和第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
在S201之前，还可以预先训练上述的各个网络模型。具体地，本申请实施例提供的方法还包括：主控制器101将多个病人在历史上的多条历史病历信息、每条历史病历信息所处的时间段、时序最后的历史病历信息对应的时刻距离历史当前时刻的时长、以及多个病人分别对应的历史病症结果作为多个训练样本，输入到初始长短记忆网络中训练以得到长短记忆网络模型；主控制器101将多个病人在历史上的历史病容特征、历史问答诊病症特征、历史声音特征，及对应的历史身体检查项目作为多个训练样本输入到第一初始神经网络中进行训练，得到第一神经网络模型，其中，历史病容特征包括病人的历史面色特征、历史舌苔特征、历史眼神特征以及历史表情特征；主控制器101将多个病人在历史上的历史总融合病症特征及对应的历史病症结果作为多个训练样本输入到第二初始神经网络模型中训练，得到第二神经网络模型，历史总融合病症特征包括病人的历史病容特征、历史问答诊病症特征、历史声音特征、历史体检病症特征；主控制器101将多个病人在历史上的第一历史病症结果和第二历史病症结果，及对应的历史病症结果输入到第三初始神经网络模型中训练，得到第三神经网络模型，第一历史病症结果是将病人的多条历史病历信息、每条历史病历信息所处的时间段、以及时序最后的历史病历信息对应的时刻距离历史当前时刻的时长，输入到预训练的长短记忆网络模型中得到的，第二历史病症结果是将病人的历史总融合病症特征，输入到预训练的第二神经网络模型中得到的。
综上所述，本申请实施例提供一种基于移动医疗工作站的远程诊疗方法，主控制器101将病人的人脸图像关联的多条病历信息、每条病历信息所处的时间段、以及时序最后的病历信息对应的时刻距离当前时刻的时长，输入到预训练的长短记忆网络模型中预测得到第一疑似病症结果。可以理解地，病人在不同时间段的病历可以表征病人的病情在不同时间段的发展情况，最后的病历信息对应的时刻距离当前时刻的时长可以用于表征上一次的病情到现在的病情的疾病发展时长，并且由于长短记忆网络模型是时间循环神经网络模型，能够根据每条病历信息所处的时间段、以及时序最后的病历信息对应的时刻距离当前时刻的时长，准确地预测出第一疑似病症结果。
主控制器101还从病人的人脸图像中提取病容特征，病容特征至少包括面色特征、舌苔特征、眼神特征以及表情特征。可以理解地，病人的人脸图像中提取病容特征能够在一定程度上表征病人的病情信息。
主控制器101通过远程通信模块105接收云服务器中转的来自医生终端的问诊声音信息，并控制扬声器104播放问诊声音信息，声音采集模块103采集病人的答诊声音信息并传输至主控制器101，主控制器101经云服务器将答诊声音信息传输至医生终端；主控制器101提取问诊声音信息中的多个第一病症关键词以及分别对应的时刻，以及答诊声音信息中的第二病症关键词和分别对应的时刻，并基于多个第一病症关键词和分别对应的时刻，以及第二病症关键词以及分别对应的时刻，构建问答诊病症特征。可以理解地，在病人和医生之间进行问诊和答诊的交互过程中，包含了对病人的病情的描述信息。因此，基于问诊声音信息中的多个第一病症关键词和答诊声音信息中的第二病症关键词构建问答诊病症特征能够在一定程度上表征病人的病情信息。
主控制器101从答诊声音信息中，提取声音特征，声音特征至少包括声音的响度特征、沙哑程度特征、以及咳嗽程度特征。可以理解地，从答诊声音信息中，提取的声音特征也能够在一定程度表征病人的病情信息。
主控制器101将病容特征、问答诊病症特征以及声音特征输入到预训练的第一神经网络模型中，确定出多个身体检查项目，并控制扬声器104播放多个身体检查项目。如身体检查项目可以包括体温检测项目、体液检测项目(如血液、尿液、鼻涕等)、CT图像拍摄项目等。
主控制器101接收播放的多个身体检查项目分别对应的身体检查设备发送对病人进行检查的多项身体检查结果，并根据多项身体检查结果构建体检病症特征。可以理解地，体检病症特征能够在一定程度上表征病人的病情信息。
主控制器101对病容特征、问答诊病症特征、声音特征、体检病症特征构建总融合病症特征。主控制器101将总融合病症特征，输入到预训练的第二神经网络模型中，得到第二疑似病症结果。可以理解地，总融合病症特征包括了多个维度的病情特征，能够准确、清楚、详实地病人的病情信息，进而根据总融合病症特征的得到第二疑似病症结果的准确度高。
主控制器101将第一疑似病症结果和第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。由于第一疑似病症结果的准确度高且第二疑似病症结果的准确度高，进而，根据第一疑似病症结果和第二疑似病症结果得到的最终病症结果的准确度高。
另外，由于主控制器101、摄像头102、声音采集模块103、扬声器104、远程通信模块105、以及多个人体检查设备106均位于封闭就医空间内，病人仅需在密闭的就医空间内进行就诊，安全性高，不容易将病情传染给别人。再者，移动医疗工作站可以移动设置于病人的居住地的社区、街道附近，就医距离短，人流量小，大大节省了病人的就诊时间。
另外，在步骤S211之后，本申请实施例提供的方法还包括：
步骤1：主控制器101将总融合病症特征转换为总融合空间特征向量，总融合空间特征向量包括多个维度的第一子特征向量。
步骤2：主控制器101确定多个维度的第一子特征向量分别与预设的模板总融合空间特征向量集合中，每个模板总融合空间特征向量中对应维度的第二子特征向量的距离的平均值和协方差。
步骤3：主控制器101根据算式确定各个模板总融合空间特征向量分别与总融合空间特征向量匹配的置信度。
可以理解地，通过上述的方式，确定的各个模板总融合空间特征向量分别与总融合空间特征向量匹配的置信度的精确度高。
其中，mij为各个模板总融合空间特征向量分别对应的距离的平均值，nij各个模板总融合空间特征向量分别对应的协方差，max(mij)为多个距离的平均值中的最大距离的平均值，min(mij)为多个距离的平均值中的最小距离的平均值，max(nij)为多个协方差中最大的协方差，min(nij)为多个协方差中最小的协方差，Pij为置信度。
步骤4：主控制器101从预设的关系表中，确定置信度最大的模板总融合空间特征向量对应的第三疑似病症结果。
可以理解地，置信度最大的模板总融合空间特征向量对应的第三疑似病症结果的精确度高。
S212具体实现为：主控制器101将第一疑似病症结果、第二疑似病症结果以及第三疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
另外，S212之后，本申请实施例提供的方法还包括：主控制器101从预设的医疗知识库中查找与最终病症结果关联的至少一个医疗处方，并通过远程通信模块105将医疗处方发送至病人终端。这样一来，病人可以根据医疗处方抓药治病。
在一种可能的实施方式中，主控制器101从预设的医疗知识库中查找与最终病症结果关联的至少一个医疗处方，并通过远程通信模块将医疗处方发送至病人终端，包括：主控制器101从预设的医疗知识库中查找与最终病症结果关联的多个医疗处方；主控制器101根据病人的人脸图像，查询到病人特征信息，病人特征信息至少包括病人的年龄、性别、身高；根据病人特征信息，从多个医疗处方中确定一个医疗处方，通过远程通信模块将确定的医疗处方发送至病人终端。这样一来，确认的医疗处方的可靠性高。
在一种可能的实施方式中，通过远程通信模块将确定的医疗处方发送至病人终端的过程可以包括：
步骤1：向医生终端发送确定的医疗处方。
步骤2：响应于来自医生终端的视频连接请求，将医生终端与病人终端建立视频连接。
步骤3：识别医生终端与病人终端在视频交互的过程中的视频数据携带有对确定的医疗处方确认指令时，通过远程通信模块将确定的医疗处方发送至病人终端。
基于上述的步骤1-步骤3，医生在医生终端浏览到初步选择的医疗处方后，可以与病人视频通话并最终确认，并将最终确认的医疗处方发送到病人终端以供病人使用。
在一些实施方式中，在S212之后，本申请实施例提供的方法还包括：
根据预存储的病情关系表中，确定最终病症结果的严重程度；当最终病症结果的严重程度用于表征病情严重时，呼叫医护救助终端；或者指引患者使用紧急药品。这样一来，可以对病人的病症进行紧急处理。
请参阅图3，本申请实施例还提供了一种基于移动医疗工作站的远程诊疗系统300，应用于移动医疗工作站的主控制器101。移动医疗工作站还包括封闭就医空间，封闭就医空间内设置有摄像头102、声音采集模块103、扬声器104、远程通信模块105、以及多个人体检查设备106，多个人体检查设备106至少包括体温检测仪、体液检测设备、以及CT图像采集设备，主控制器101分别与摄像头102、声音采集模块103、扬声器104、多个人体检查设备106以及远程通信模块105电连接。需要说明的是，本申请实施例所提供的基于移动医疗工作站的远程诊疗系统300，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本申请实施例部分未提及之处，可参考上述的实施例中相应内容。具体地，本申请实施例提供的系统300包括：信息收发单元301、第一结果生成单元302、第一特征提取单元303、第二特征提取单元304、第三特征提取单元305、检查项目确定单元306、第四特征提取单元307、融合特征构建单元308、第二结果生成单元309、第三结果生成单元310，其中，
信息收发单元301，用于接收来自摄像头102采集的病人的身体图像信息，其中，身体图像信息包括病人的人脸图像。
信息收发单元301，还用于将病人的人脸图像上传到云服务器，并接收云服务器下发的与病人的人脸图像关联的多条病历信息以及每条病历信息所处的时间段。
第一结果生成单元302，用于将病人的人脸图像关联的多条病历信息、每条病历信息所处的时间段、以及时序最后的病历信息对应的时刻距离当前时刻的时长，输入到预训练的长短记忆网络模型中预测得到第一疑似病症结果。
第一特征提取单元303，用于还从病人的人脸图像中提取病容特征，病容特征至少包括面色特征、舌苔特征、眼神特征以及表情特征。
信息收发单元301，还用于通过远程通信模块105接收云服务器中转的来自医生终端的问诊声音信息，并控制扬声器104播放问诊声音信息，接收声音采集模块103采集的病人的答诊声音信息，并经云服务器将答诊声音信息传输至医生终端；
第二特征提取单元304，用于提取问诊声音信息中的多个第一病症关键词以及分别对应的时刻，以及答诊声音信息中的第二病症关键词和分别对应的时刻，并基于多个第一病症关键词和分别对应的时刻，以及第二病症关键词以及分别对应的时刻，构建问答诊病症特征。
第三特征提取单元305，用于从答诊声音信息中，提取声音特征，声音特征至少包括声音的响度特征、沙哑程度特征、以及咳嗽程度特征。
检查项目确定单元306，用于将病容特征、问答诊病症特征以及声音特征输入到预训练的第一神经网络模型中，确定出多个身体检查项目，并控制扬声器104播放多个身体检查项目。
第四特征提取单元307，用于接收播放的多个身体检查项目分别对应的身体检查设备发送对病人进行检查的多项身体检查结果，并根据多项身体检查结果构建体检病症特征。
融合特征构建单元308，用于对病容特征、问答诊病症特征、声音特征、体检病症特征构建总融合病症特征。
第二结果生成单元309，用于将总融合病症特征，输入到预训练的第二神经网络模型中，得到第二疑似病症结果。
第三结果生成单元310，用于将第一疑似病症结果和第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
在一种可能的实施方式中，本申请实施例提供的系统300还包括：
模型训练单元，用于将多个病人在历史上的多条历史病历信息、每条历史病历信息所处的时间段、时序最后的历史病历信息对应的时刻距离历史当前时刻的时长、以及多个病人分别对应的历史病症结果作为多个训练样本，输入到初始长短记忆网络中训练以得到长短记忆网络模型；将多个病人在历史上的历史病容特征、历史问答诊病症特征、历史声音特征，及对应的历史身体检查项目作为多个训练样本输入到第一初始神经网络中进行训练，得到第一神经网络模型，其中，历史病容特征包括病人的历史面色特征、历史舌苔特征、历史眼神特征以及历史表情特征；将多个病人在历史上的历史总融合病症特征及对应的历史病症结果作为多个训练样本输入到第二初始神经网络模型中训练，得到第二神经网络模型，历史总融合病症特征包括病人的历史病容特征、历史问答诊病症特征、历史声音特征、历史体检病症特征；将多个病人在历史上的第一历史病症结果和第二历史病症结果，及对应的历史病症结果输入到第三初始神经网络模型中训练，得到第三神经网络模型，第一历史病症结果是将病人的多条历史病历信息、每条历史病历信息所处的时间段、以及时序最后的历史病历信息对应的时刻距离历史当前时刻的时长，输入到预训练的长短记忆网络模型中得到的，第二历史病症结果是将病人的历史总融合病症特征，输入到预训练的第二神经网络模型中得到的。
在一种可能的实施方式中，本申请提供的系统300还包括第四结果生成单元，用于将总融合病症特征转换为总融合空间特征向量，总融合空间特征向量包括多个维度的第一子特征向量；确定多个维度的第一子特征向量分别与预设的模板总融合空间特征向量集合中，每个模板总融合空间特征向量中对应维度的第二子特征向量的距离的平均值和协方差；根据算式 确定各个模板总融合空间特征向量分别与总融合空间特征向量匹配的置信度，其中，mij为各个模板总融合空间特征向量分别对应的距离的平均值，nij各个模板总融合空间特征向量分别对应的协方差，max(mij)为多个距离的平均值中的最大距离的平均值，min(mij)为多个距离的平均值中的最小距离的平均值，max(nii)为多个协方差中最大的协方差，min(nij)为多个协方差中最小的协方差，Pij为置信度；从预设的关系表中，确定置信度最大的模板总融合空间特征向量对应的第三疑似病症结果；
第三结果生成单元310，具体用于将第一疑似病症结果、第二疑似病症结果以及第三疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
在一种可能的实施方式中，该系统300还包括：
医疗处方发送单元，用于从预设的医疗知识库中查找与最终病症结果关联的至少一个医疗处方，并通过远程通信模块105将医疗处方发送至病人终端。
在一种可能的实施方式中，医疗处方发送单元，具体用于向医生终端发送确定的医疗处方；响应于来自医生终端的视频连接请求，将医生终端与病人终端建立视频连接；识别医生终端与病人终端在视频交互的过程中的视频数据携带有对确定的医疗处方确认指令时，通过远程通信模块将确定的医疗处方发送至病人终端。
在一些实施方式中，本申请实施例提供的方法还包括：紧急处理单元，用于根据预存储的病情关系表中，确定最终病症结果的严重程度；当最终病症结果的严重程度用于表征病情严重时，呼叫医护救助终端；或者指引患者使用紧急药品。
另外，本申请实施例提供了一种移动医疗工作站，包括封闭就医空间，封闭就医空间内设置有主控制器101、摄像头102、声音采集模块103、扬声器104、远程通信模块105、以及多个人体检查设备106，多个人体检查设备106至少包括体温检测仪、体液检测设备、以及CT图像采集设备，主控制器101分别与摄像头102、声音采集模块103、扬声器104、多个人体检查设备106以及远程通信模块105电连接，主控制器101用于执行上述实施例提供的方法。
另外，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，使得计算机用于执行上述实施例提供的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于移动医疗工作站的远程诊疗方法，其特征在于，应用于移动医疗工作站，所述移动医疗工作站包括封闭就医空间，所述封闭就医空间内设置有主控制器、摄像头、声音采集模块、扬声器、远程通信模块、以及多个人体检查设备，
所述多个人体检查设备至少包括体温检测仪、体液检测设备、以及CT图像采集设备，所述主控制器分别与所述摄像头、所述声音采集模块、所述扬声器、所述多个人体检查设备以及所述远程通信模块电连接，所述方法包括：
所述摄像头采集病人的身体图像信息并传输到所述主控制器，其中，所述身体图像信息包括病人的人脸图像；
所述主控制器将所述病人的人脸图像上传到云服务器，并接收所述云服务器下发的与所述病人的人脸图像关联的多条病历信息以及每条病历信息所处的时间段；
所述主控制器将所述病人的人脸图像关联的多条病历信息、每条病历信息所处的时间段、以及时序最后的病历信息对应的时刻距离当前时刻的时长，输入到预训练的长短记忆网络模型中预测得到第一疑似病症结果；
所述主控制器还从所述病人的人脸图像中提取病容特征，所述病容特征至少包括面色特征、舌苔特征、眼神特征以及表情特征；
所述主控制器通过所述远程通信模块接收所述云服务器中转的来自医生终端的问诊声音信息，并控制所述扬声器播放所述问诊声音信息，所述声音采集模块采集病人的答诊声音信息并传输至所述主控制器，所述主控制器经所述云服务器将所述答诊声音信息传输至所述医生终端；
所述主控制器提取所述问诊声音信息中的多个第一病症关键词以及分别对应的时刻，以及所述答诊声音信息中的第二病症关键词和分别对应的时刻，并基于所述多个第一病症关键词和分别对应的时刻，以及所述第二病症关键词以及分别对应的时刻，构建问答诊病症特征；
所述主控制器从所述答诊声音信息中，提取声音特征，所述声音特征至少包括声音的响度特征、沙哑程度特征、以及咳嗽程度特征；
所述主控制器将所述病容特征、所述问答诊病症特征以及所述声音特征输入到预训练的第一神经网络模型中，确定出多个身体检查项目，并控制所述扬声器播放所述多个身体检查项目；
所述主控制器接收播放的多个身体检查项目分别对应的身体检查设备发送对病人进行检查的多项身体检查结果，并根据多项身体检查结果构建体检病症特征；
所述主控制器对所述病容特征、所述问答诊病症特征、所述声音特征、所述体检病症特征构建总融合病症特征；
所述主控制器将所述总融合病症特征，输入到预训练的第二神经网络模型中，得到第二疑似病症结果；
所述主控制器将所述第一疑似病症结果和所述第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
2.根据权利要求1所述的方法，其特征在于，在所述摄像头采集病人的身体图像信息并传输到所述主控制器，其中，所述身体图像信息包括病人的人脸图像之前，所述方法还包括：
所述主控制器将多个病人在历史上的多条历史病历信息、每条历史病历信息所处的时间段、时序最后的历史病历信息对应的时刻距离历史当前时刻的时长、以及多个病人分别对应的历史病症结果作为多个训练样本，输入到初始长短记忆网络中训练以得到所述长短记忆网络模型；
所述主控制器将多个病人在历史上的历史病容特征、历史问答诊病症特征、历史声音特征，及对应的历史身体检查项目作为多个训练样本输入到第一初始神经网络中进行训练，得到所述第一神经网络模型，其中，所述历史病容特征包括病人的历史面色特征、历史舌苔特征、历史眼神特征以及历史表情特征；
所述主控制器将多个病人在历史上的历史总融合病症特征及对应的历史病症结果作为多个训练样本输入到第二初始神经网络模型中训练，得到所述第二神经网络模型，所述历史总融合病症特征包括病人的历史病容特征、历史问答诊病症特征、历史声音特征、历史体检病症特征；
所述主控制器将多个病人在历史上的第一历史病症结果和第二历史病症结果，及对应的历史病症结果输入到第三初始神经网络模型中训练，得到所述第三神经网络模型，所述第一历史病症结果是将病人的多条历史病历信息、每条历史病历信息所处的时间段、以及时序最后的历史病历信息对应的时刻距离历史当前时刻的时长，输入到预训练的长短记忆网络模型中得到的，所述第二历史病症结果是将病人的历史总融合病症特征，输入到预训练的第二神经网络模型中得到的。
3.根据权利要求1所述的方法，其特征在于，在所述主控制器将所述总融合病症特征，输入到预训练的第二神经网络模型中，得到第二疑似病症结果之后，所述方法还包括：
所述主控制器将所述总融合病症特征转换为总融合空间特征向量，所述总融合空间特征向量包括多个维度的第一子特征向量；
所述主控制器确定所述多个维度的第一子特征向量分别与预设的模板总融合空间特征向量集合中，每个所述模板总融合空间特征向量中对应维度的第二子特征向量的距离的平均值和协方差；
所述主控制器根据算式确定各个所述模板总融合空间特征向量分别与所述总融合空间特征向量匹配的置信度，其中，mij为各个所述模板总融合空间特征向量分别对应的距离的平均值，nij各个所述模板总融合空间特征向量分别对应的协方差，max(mij)为多个距离的平均值中的最大距离的平均值，min(mij)为多个距离的平均值中的最小距离的平均值，max(nij)为多个协方差中最大的协方差，min(nij)为多个协方差中最小的协方差，Pij为所述置信度；
所述主控制器从预设的关系表中，确定所述置信度最大的所述模板总融合空间特征向量对应的第三疑似病症结果；
所述主控制器将所述第一疑似病症结果和所述第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果，包括：所述主控制器将所述第一疑似病症结果、所述第二疑似病症结果以及所述第三疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
4.根据权利要求1-3任一所述的方法，其特征在于，所述主控制器将所述第一疑似病症结果和所述第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果之后，所述方法还包括：
所述主控制器从预设的医疗知识库中查找与所述最终病症结果关联的至少一个医疗处方，并通过所述远程通信模块将所述医疗处方发送至病人终端。
5.根据权利要求4所述的方法，其特征在于，所述主控制器从预设的医疗知识库中查找与所述最终病症结果关联的至少一个医疗处方，并通过所述远程通信模块将所述医疗处方发送至病人终端，包括：
所述主控制器从预设的医疗知识库中查找与所述最终病症结果关联的多个医疗处方；
所述主控制器根据所述病人的人脸图像，查询到病人特征信息，所述病人特征信息至少包括病人的年龄、性别、身高；
根据所述病人特征信息，从所述多个医疗处方中确定一个医疗处方；
通过所述远程通信模块将确定的医疗处方发送至病人终端。
6.根据权利要求5所述的方法，其特征在于，所述通过所述远程通信模块将确定的医疗处方发送至病人终端包括：
向所述医生终端发送确定的医疗处方；
响应于来自所述医生终端的视频连接请求，将所述医生终端与所述病人终端建立视频连接；
识别所述医生终端与所述病人终端在视频交互的过程中的视频数据携带有对所述确定的医疗处方确认指令时，通过所述远程通信模块将确定的医疗处方发送至病人终端。
7.根据权利要求1所述的方法，其特征在于，所述主控制器将所述第一疑似病症结果和所述第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果之后，所述方法还包括：
根据预存储的病情关系表中，确定所述最终病症结果的严重程度；
当所述最终病症结果的严重程度用于表征病情严重时，呼叫医护救助终端；或者指引患者使用紧急药品。
8.一种基于移动医疗工作站的远程诊疗系统，其特征在于，应用于移动医疗工作站的主控制器，所述移动医疗工作站还包括封闭就医空间，所述封闭就医空间内设置有摄像头、声音采集模块、扬声器、远程通信模块、以及多个人体检查设备，所述多个人体检查设备至少包括体温检测仪、体液检测设备、以及CT图像采集设备，所述主控制器分别与所述摄像头、所述声音采集模块、所述扬声器、所述多个人体检查设备以及所述远程通信模块电连接，所述系统包括：
信息收发单元，用于接收来自所述摄像头采集的病人的身体图像信息，其中，所述身体图像信息包括病人的人脸图像；
所述信息收发单元，还用于将所述病人的人脸图像上传到云服务器，并接收所述云服务器下发的与所述病人的人脸图像关联的多条病历信息以及每条病历信息所处的时间段；
第一结果生成单元，用于将所述病人的人脸图像关联的多条病历信息、每条病历信息所处的时间段、以及时序最后的病历信息对应的时刻距离当前时刻的时长，输入到预训练的长短记忆网络模型中预测得到第一疑似病症结果；
第一特征提取单元，用于还从所述病人的人脸图像中提取病容特征，所述病容特征至少包括面色特征、舌苔特征、眼神特征以及表情特征；
所述信息收发单元，还用于通过所述远程通信模块接收所述云服务器中转的来自医生终端的问诊声音信息，并控制所述扬声器播放所述问诊声音信息，接收所述声音采集模块采集的病人的答诊声音信息，并经所述云服务器将所述答诊声音信息传输至所述医生终端；
第二特征提取单元，用于提取所述问诊声音信息中的多个第一病症关键词以及分别对应的时刻，以及所述答诊声音信息中的第二病症关键词和分别对应的时刻，并基于所述多个第一病症关键词和分别对应的时刻，以及所述第二病症关键词以及分别对应的时刻，构建问答诊病症特征；
第三特征提取单元，用于从所述答诊声音信息中，提取声音特征，所述声音特征至少包括声音的响度特征、沙哑程度特征、以及咳嗽程度特征；
检查项目确定单元，用于将所述病容特征、所述问答诊病症特征以及所述声音特征输入到预训练的第一神经网络模型中，确定出多个身体检查项目，并控制所述扬声器播放所述多个身体检查项目；
第四特征提取单元，用于接收播放的多个身体检查项目分别对应的身体检查设备发送对病人进行检查的多项身体检查结果，并根据多项身体检查结果构建体检病症特征；
融合特征构建单元，用于对所述病容特征、所述问答诊病症特征、所述声音特征、所述体检病症特征构建总融合病症特征；
第二结果生成单元，用于将所述总融合病症特征，输入到预训练的第二神经网络模型中，得到第二疑似病症结果；
第三结果生成单元，用于将所述第一疑似病症结果和所述第二疑似病症结果，输入到预训练的第三神经网络模型中，得到最终病症结果。
9.根据权利要求8所述的系统，其特征在于，所述系统还包括：
模型训练单元，用于将多个病人在历史上的多条历史病历信息、每条历史病历信息所处的时间段、时序最后的历史病历信息对应的时刻距离历史当前时刻的时长、以及多个病人分别对应的历史病症结果作为多个训练样本，输入到初始长短记忆网络中训练以得到所述长短记忆网络模型；将多个病人在历史上的历史病容特征、历史问答诊病症特征、历史声音特征，及对应的历史身体检查项目作为多个训练样本输入到第一初始神经网络中进行训练，得到所述第一神经网络模型，其中，所述历史病容特征包括病人的历史面色特征、历史舌苔特征、历史眼神特征以及历史表情特征；将多个病人在历史上的历史总融合病症特征及对应的历史病症结果作为多个训练样本输入到第二初始神经网络模型中训练，得到所述第二神经网络模型，所述历史总融合病症特征包括病人的历史病容特征、历史问答诊病症特征、历史声音特征、历史体检病症特征；将多个病人在历史上的第一历史病症结果和第二历史病症结果，及对应的历史病症结果输入到第三初始神经网络模型中训练，得到所述第三神经网络模型，所述第一历史病症结果是将病人的多条历史病历信息、每条历史病历信息所处的时间段、以及时序最后的历史病历信息对应的时刻距离历史当前时刻的时长，输入到预训练的长短记忆网络模型中得到的，所述第二历史病症结果是将病人的历史总融合病症特征，输入到预训练的第二神经网络模型中得到。
10.一种移动医疗工作站，其特征在于，包括封闭就医空间，所述封闭就医空间内设置有主控制器、摄像头、声音采集模块、扬声器、远程通信模块、以及多个人体检查设备，所述多个人体检查设备至少包括体温检测仪、体液检测设备、以及CT图像采集设备，所述主控制器分别与所述摄像头、所述声音采集模块、所述扬声器、所述多个人体检查设备以及所述远程通信模块电连接，所述主控制器用于执行权利要求1-4任一所述的方法。
CN202311658899.1A 2023-12-04 2023-12-04 基于移动医疗工作站的远程诊疗方法和系统 Pending CN117649953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311658899.1A CN117649953A (zh) 2023-12-04 2023-12-04 基于移动医疗工作站的远程诊疗方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311658899.1A CN117649953A (zh) 2023-12-04 2023-12-04 基于移动医疗工作站的远程诊疗方法和系统

Publications (1)

Publication Number Publication Date
CN117649953A true CN117649953A (zh) 2024-03-05

Family

ID=90042979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311658899.1A Pending CN117649953A (zh) 2023-12-04 2023-12-04 基于移动医疗工作站的远程诊疗方法和系统

Country Status (1)

Country Link
CN (1) CN117649953A (zh)

Similar Documents

Publication Publication Date Title
Sharma et al. A smart ontology-based IoT framework for remote patient monitoring
CN110516161B (zh) 一种推荐方法及装置
Yadav et al. ARFDNet: An efficient activity recognition & fall detection system using latent feature pooling
EP3255573A1 (en) Clinical decision supporting ensemble system and clinical decison supporting method using the same
CN110249392A (zh) 智能辅助诊疗系统及方法
WO2022145782A2 (ko) 빅데이터 및 클라우드 시스템 기반 인공지능 응급의료 의사결정 및 응급환자 이송 시스템과 그 방법
Sadad et al. Detection of cardiovascular disease based on PPG signals using machine learning with cloud computing
KR20170061222A (ko) 건강데이터 패턴의 일반화를 통한 건강수치 예측 방법 및 그 장치
Ullah et al. Integration of type-2 fuzzy logic and Dempster–Shafer Theory for accurate inference of IoT-based health-care system
KR102479692B1 (ko) 빅데이터 및 클라우드 시스템 기반 인공지능 응급의료 의사결정 및 응급환자 이송 시스템과 그 방법
CN111227789A (zh) 人体健康监护方法和装置
Plageras et al. IOT-based health and emotion care system
Bhavani et al. Stress classification and vital signs forecasting for IoT-health monitoring
CN111192655B (zh) 在线医疗方法及系统、电子设备、计算机存储介质
CN117649953A (zh) 基于移动医疗工作站的远程诊疗方法和系统
CN207341864U (zh) 用于创伤、胸痛中的救护车
Suvarna et al. Diagnosis of burn images using template matching, k-nearest neighbor and artificial neural network
Dey et al. Patient Health Observation and Analysis with Machine Learning and IoT Based in Realtime Environment
Kaviya et al. INTELLIGENT WEARABLE DEVICE FOR EARLY DETECTION OF MYOCARDIAL INFARCTION USING IoT
Zhukova et al. Smart room for patient monitoring based on IoT technologies
Manivannan et al. Health monitoring system for diabetic patients
US20240008806A1 (en) Body fluid volume estimation device, body fluid volume estimation method, and non-transitory computer-readable medium
CN118173287B (zh) 一种医疗视频在线诊疗方法及系统
Vinutha et al. Machine Learning–Assisted Remote Patient Monitoring with Data Analytics
Huang et al. Mobile Health-monitoring System with Inference, Fall Detection, and Cardiovascular Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination