CN116825388A - 基于数字虚拟人的医疗数据交互系统及服务系统 - Google Patents

基于数字虚拟人的医疗数据交互系统及服务系统 Download PDF

Info

Publication number
CN116825388A
CN116825388A CN202310534119.6A CN202310534119A CN116825388A CN 116825388 A CN116825388 A CN 116825388A CN 202310534119 A CN202310534119 A CN 202310534119A CN 116825388 A CN116825388 A CN 116825388A
Authority
CN
China
Prior art keywords
data
digital virtual
disease
virtual human
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310534119.6A
Other languages
English (en)
Inventor
白春学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bai Chunxue Artificial Intelligence Technology Studio
Original Assignee
Shanghai Bai Chunxue Artificial Intelligence Technology Studio
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bai Chunxue Artificial Intelligence Technology Studio filed Critical Shanghai Bai Chunxue Artificial Intelligence Technology Studio
Priority to CN202310534119.6A priority Critical patent/CN116825388A/zh
Publication of CN116825388A publication Critical patent/CN116825388A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供一种基于数字虚拟人的医疗数据交互系统及服务系统，包括：患者端、第一医生端、第二医生端、专家端及服务器端；所述服务器端设有：数字虚拟人显示数据库、数字虚拟人语音数据、数字虚拟人孪生数据库；患者端适于根据预置或接收的疾病询问指令加载所述数字虚拟人疾病问诊显示数据及数字虚拟人疾病问诊语音数据；第一/第二医生端适于根据接收的疾病建议/核对指令加载所述数字虚拟人疾病建议/核对显示数据及数字虚拟人疾病建议/核对语音数据；专家端适于根据接收或预置的疾病管理指令加载所述数字虚拟人疾病管理显示数据及数字虚拟人疾病管理语音数据，并发送疾病管理数据以更新数字虚拟人医疗数据。本发明能够使现有技术物联网医学相关图像与信息可视化。

Description

基于数字虚拟人的医疗数据交互系统及服务系统
技术领域
本发明涉及医疗技术领域，特别涉及一种基于数字虚拟人的医疗数据交互系统及服务系统。
背景技术
自从2009年白春学教授提出，在在国内、外首先提出和创立物联网医学，并提出三级(专家、一线医生和患者)联动的医疗模式。公开号为CN102637291B的中国发明专利公开了一种手机云加端物联网医学系统，包括：受测客户手机用户端，其包括健康日记模块、就诊记录模块、传感器模块、医技报告模块、自定义疾病模块及用药记录模块；医学中心云端，其接收来自受测客户手机用户端的数据，由受测客户手机用户端的不同模块得到的数据具有不同的模块属性，医学中心云端根据该模块属性将数据分类归档至门诊登记系统、电子病史系统、远程检测系统、医技检测中心数据库、疾病信息化分层管理系统及医嘱执行跟踪系统，各系统根据数据分级就诊信息，将归档的数据打包重新归档于不同的专科医生接诊模块；不同的专科医生接诊模块将数据发给不同的医师手机用户端，由医师通过医师手机用户端进行专科诊断，并逐级递交完成虚拟多级查房，同时实现双向反馈，并决策最终诊断及治疗方案。
但是，上述物联网医学技术缺乏相关图像与信息的可视化，使三级联动的医疗模式缺乏真实世界的互动信息，欠缺用户真实体验。
发明内容
本发明技术方案解决的技术问题为：如何使现有技术物联网医学相关图像与信息可视化。
为了解决上述技术问题，本发明技术方案提供了一种基于数字虚拟人的医疗数据交互系统，包括：包括：患者端、第一医生端、第二医生端、专家端及服务器端；所述服务器端设有：数字虚拟人显示数据库、数字虚拟人语音数据、数字虚拟人孪生数据库；
所述数字虚拟人显示数据库包括：数字虚拟人疾病问诊显示数据、数字虚拟人疾病建议显示数据、数字虚拟人疾病核对数据以及数字虚拟人疾病管理显示数据；
所述数字虚拟人语音数据库包括：数字虚拟人疾病问诊语音数据、数字虚拟人疾病建议语音数据、数字虚拟人疾病核对语音数据以及数字虚拟人疾病管理语音数据；
所述数字虚拟人孪生数据库包括：数字虚拟人医疗数据；
所述患者端适于根据预置或接收的疾病询问指令加载所述数字虚拟人疾病问诊显示数据及数字虚拟人疾病问诊语音数据，患者可根据所述数字虚拟人疾病问诊显示数据及数字虚拟人疾病问诊语音数据输入疾病问诊数据；所述患者端还适于将所述疾病问诊数据发送至所述服务器端；
所述服务器端适于根据所述疾病问诊数据查询所述数字虚拟人医疗数据以确定疾病建议指令，并将所述疾病建议指令推送至所述第一医生端；
所述第一医生端适于根据接收的疾病建议指令加载所述数字虚拟人疾病建议显示数据及数字虚拟人疾病建议语音数据，医生可根据所述数字虚拟人疾病建议显示数据及数字虚拟人疾病建议语音数据输入疾病初步诊断数据；所述第一医生端还适于将所述疾病初步诊断数据发送至所述服务器端；
所述服务器端还适于根据所述疾病初步诊断数据生成疾病核对指令，并将所述疾病核对指令推送至所述第二医生端；
所述第二医生端适于根据接收的疾病核对指令加载所述数字虚拟人疾病核对显示数据及数字虚拟人疾病核对语音数据，医生可根据所述数字虚拟人疾病核对显示数据及数字虚拟人疾病核对语音数据输入疾病核对数据；所述第二医生端还适于将所述疾病核对数据发送至所述服务器端；
所述服务器端还适于根据所述疾病初步诊断数据和/或疾病核对数据生成疾病管理指令，并将所述疾病管理指令推送至所述专家端；
所述专家端适于根据接收或预置的疾病管理指令加载所述数字虚拟人疾病管理显示数据及数字虚拟人疾病管理语音数据，专家可根据所述数字虚拟人疾病管理显示数据及数字虚拟人疾病管理语音数据输入疾病管理数据；所述专家端还适于将所述疾病管理数据发送至所述服务器端；
所述服务器端还适于根据所述疾病管理数据更新所述数字虚拟人医疗数据。
可选的，所述服务器端包括：数字虚拟人图像采集模块、数字虚拟人图像处理模块、数字虚拟人图像重建模块及数字虚拟人图像存储模块；
所述数字虚拟人图像采集模块适于根据疾病问诊、疾病建议、疾病核对及疾病管理场景采集对应所需的数字虚拟人图像原始影像数据；
所述数字虚拟人图像处理模块适于对所述原始影像数据进行处理以获得对应目标图像数据；
所述数字虚拟人图像重建模块适于对所述目标图像数据进行三维重建以生成对应数字虚拟人三维影像数据；
所述数字虚拟人图像存储模块适于根据所述疾病问诊、疾病建议、疾病核对及疾病管理场景对所述数字虚拟人三维影像数据进行分类存储以形成所述数字虚拟人疾病问诊显示数据、数字虚拟人疾病建议显示数据、数字虚拟人疾病核对数据以及数字虚拟人疾病管理显示数据；
所述原始影像数据至少包括：直接拍摄的二维影像数据或者动态捕捉的三维影像数据；所述原始影像数据还包括：场景数据，所述场景数据包括：光场成像数据。
可选的，所述服务器端包括：数字虚拟人语音文本采集模块、数字虚拟人语音文本处理模块、数字虚拟人语音库；
所述数字虚拟人语音文本采集模块适于根据疾病问诊、疾病建议、疾病核对及疾病管理场景采集对应所需的数字虚拟人语音文本数据；
所述数字虚拟人语音文本处理模块适于对所述数字虚拟人语音文本数据进行处理以获得对应目标语音文本数据，并适于根据所述目标语音文本数据调取对应数字虚拟人语音库的语音数据以形成所述数字虚拟人疾病问诊语音数据、数字虚拟人疾病建议语音数据、数字虚拟人疾病核对语音数据以及数字虚拟人疾病管理语音数据。
可选的，所述服务器端包括：医学元素采集模块、医学元素匹配模块及医学元素更新模块；
所述医学元素采集模块适于采集医学元素数据；
所述医学元素匹配模块适于根据采集的医学元素数据建立预置疾病建议数据的匹配关系数据；
所述医学元素更新模块适于根据疾病管理数据调整所述医学元素数据及匹配关系数据；
所述数字虚拟人医疗数据包括：所述医学元素数据、预置疾病建议数据及匹配关系数据。
可选的，所述患者端包括：第一解析显示模块、第一辅助显示模块以及第一解析播放模块；
所述第一解析显示模块适于解析患者端所加载的数字虚拟人疾病问诊显示数据以显示数字虚拟人疾病问诊显示图像；
所述第一辅助显示模块适于将所述数字虚拟人疾病问诊显示图像叠加至真实世界/虚拟世界的指定位置以增强图像；
所述第一解析播放模块适于解析患者端所加载的数字虚拟人疾病问诊语音数据以播放。
可选的，所述患者端还包括：患者交互模块；所述患者交互模块适于采集患者手势、患者语音以及疾病图像以生成所述疾病问诊数据。
可选的，所述第一医生端包括：第二解析显示模块、第二辅助显示模块以及第二解析播放模块；
所述第二解析显示模块适于解析第一医生端所加载的数字虚拟人疾病建议显示数据以显示数字虚拟人疾病建议显示图像；
所述第二辅助显示模块适于将所述数字虚拟人疾病建议显示图像叠加至真实世界/虚拟世界的指定位置以增强图像；
所述第二解析播放模块适于解析第一医生端所加载的数字虚拟人疾病建议语音数据以播放。
可选的，所述第一医生端还包括：医生交互模块；所述医生交互模块适于采集医生手势及医生语音以生成所述疾病初步诊断数据。
可选的，所述第二医生端包括：第三解析显示模块、第三辅助显示模块以及第三解析播放模块；
所述第三解析显示模块适于解析第二医生端所加载的数字虚拟人疾病核对显示数据以显示数字虚拟人疾病核对显示图像；
所述第三辅助显示模块适于将所述数字虚拟人疾病核对显示图像叠加至真实世界/虚拟世界的指定位置以增强图像；
所述第三解析播放模块适于解析第二医生端所加载的数字虚拟人疾病核对语音数据以播放。
可选的，所述专家端包括：第四解析显示模块、第四辅助显示模块以及第四解析播放模块；
所述第四解析显示模块适于解析专家端所加载的数字虚拟人疾病管理显示数据以显示数字虚拟人疾病管理显示图像；
所述第四辅助显示模块适于将所述数字虚拟人疾病管理显示图像叠加至真实世界/虚拟世界的指定位置以增强图像；
所述第四解析播放模块适于解析专家端所加载的数字虚拟人疾病管理语音数据以播放。
可选的，所述专家端还包括：专家交互模块；所述专家交互模块适于采集专家手势及专家语音以生成所述疾病管理数据。
可选的，所述服务器端还包括：疾病查询模块、疾病核对模块、疾病管理模块以及疾病更新模块。
可选的，所述患者端上传的疾病问诊数据包括：检验或检查图像；所述疾病建议数据也包括：检验或检查图像研判结果；所述服务器端包括：检验或检查图像模块；所述检验或检查图像模块适于：通过对比分析图像特征，将所述检验或检查图像和病症图像库进行对比，从而分析在相对概率下的患病几率，最终将图像反馈结果作为所述检验或检查图像研判结果。
为了解决上述技术问题，本发明技术方案还提供了一种用于提供数字虚拟人医疗数据的服务系统，包括：数字虚拟人显示数据库、数字虚拟人语音数据、数字虚拟人孪生数据库；所述数字虚拟人显示数据库包括：数字虚拟人疾病问诊显示数据、数字虚拟人疾病建议显示数据、数字虚拟人疾病核对数据以及数字虚拟人疾病管理显示数据；所述数字虚拟人语音数据库包括：数字虚拟人疾病问诊语音数据、数字虚拟人疾病建议语音数据、数字虚拟人疾病核对语音数据以及数字虚拟人疾病管理语音数据；所述数字虚拟人孪生数据库包括：数字虚拟人医疗数据。
可选的，所述一种用于提供数字虚拟人医疗数据的服务系统，还包括：数字虚拟人图像采集模块、数字虚拟人图像处理模块、数字虚拟人图像重建模块及数字虚拟人图像存储模块；
所述数字虚拟人图像采集模块适于根据疾病问诊、疾病建议、疾病核对及疾病管理场景采集对应所需的数字虚拟人图像原始影像数据；
所述数字虚拟人图像处理模块适于对所述原始影像数据进行处理以获得对应目标图像数据；
所述数字虚拟人图像重建模块适于对所述目标图像数据进行三维重建以生成对应数字虚拟人三维影像数据；
所述数字虚拟人图像存储模块适于根据所述疾病问诊、疾病建议、疾病核对及疾病管理场景对所述数字虚拟人三维影像数据进行分类存储以形成所述数字虚拟人疾病问诊显示数据、数字虚拟人疾病建议显示数据、数字虚拟人疾病核对数据以及数字虚拟人疾病管理显示数据；
所述原始影像数据至少包括：直接拍摄的二维影像数据或者动态捕捉的三维影像数据；所述原始影像数据还包括：场景数据，所述场景数据包括：光场成像数据。
可选的，所述一种用于提供数字虚拟人医疗数据的服务系统，还包括：数字虚拟人语音文本采集模块、数字虚拟人语音文本处理模块、数字虚拟人语音库；
所述数字虚拟人语音文本采集模块适于根据疾病问诊、疾病建议、疾病核对及疾病管理场景采集对应所需的数字虚拟人语音文本数据；
所述数字虚拟人语音文本处理模块适于对所述数字虚拟人语音文本数据进行处理以获得对应目标语音文本数据，并适于根据所述目标语音文本数据调取对应数字虚拟人语音库的语音数据以形成所述数字虚拟人疾病问诊语音数据、数字虚拟人疾病建议语音数据、数字虚拟人疾病核对语音数据以及数字虚拟人疾病管理语音数据。
可选的，所述一种用于提供数字虚拟人医疗数据的服务系统，还包括：医学元素采集模块、医学元素匹配模块及医学元素更新模块；
所述医学元素采集模块适于采集医学元素数据；
所述医学元素匹配模块适于根据采集的医学元素数据建立预置疾病建议数据的匹配关系数据；
所述医学元素更新模块适于根据疾病管理数据调整所述医学元素数据及匹配关系数据；
所述数字虚拟人医疗数据包括：所述医学元素数据、预置疾病建议数据及匹配关系数据。
本发明技术方案的有益效果至少包括：
本发明技术方案能够基于物联网医学技术，实现虚拟数字人图像与信息的可视化，使三级联动的医疗模式具备真实世界的互动信息，增强用户真实体验。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
图1为本发明技术方案提供的一种基于数字虚拟人的医疗数据交互系统的结构示意图；
图2为本发明技术方案所提供医疗数据交互系统的服务器端之结构示意图；
图3为本发明技术方案所提供医疗数据交互系统的信息交互关系示意图；
图4为本发明技术方案所提供医疗数据交互系统的患者端之结构示意图；
图5为本发明技术方案所提供医疗数据交互系统的医生端之结构示意图；
图6为本发明技术方案所提供医疗数据交互系统的另一医生端之结构示意图；
图7为本发明技术方案所提供医疗数据交互系统的专家端之结构示意图；
图8为本发明技术方案所提供医疗数据交互系统的另一服务器端之结构示意图；
图9为本发明技术方案提供的患者交互模块所采用的三维卷积网络模型的结构示意图。
具体实施方式
为了更好的使本发明的技术方案清晰的表示出来，下面结合附图对本发明作进一步说明。
本实施例的一种基于数字虚拟人的医疗数据交互系统，可以基于数字虚拟人相关数据与模块，实现终端基于数字虚拟人的增强现实图像实现医疗数据的交互，使三级联动的医疗模式具备真实世界的互动信息。参考图1，该基于数字虚拟人的医疗数据交互系统包括：患者端10、医生端11、医生端12、专家端13及服务器端14。
结合图2，服务器端14进一步设有：数字虚拟人显示数据库140、数字虚拟人语音数据141、数字虚拟人孪生数据库142。其中：
数字虚拟人显示数据库140包括：数字虚拟人疾病问诊显示数据、数字虚拟人疾病建议显示数据、数字虚拟人疾病核对数据以及数字虚拟人疾病管理显示数据。
为了配置数字虚拟人显示数据库140，继续参考图2，服务器端14内设有相应的数字虚拟人图像采集模块20、数字虚拟人图像处理模块21、数字虚拟人图像重建模块22及数字虚拟人图像存储模块23。
数字虚拟人图像采集模块20适于对所需制作数字虚拟人图像的二维影像数据进行采集，这些二维影像数据可以通过拍摄的方式对目标虚拟人的现实主体(比如真实的专家医生人物形象，或者虚拟人物形象等)进行摄录，以形成二维影像数据。这些二维影像数据可以是根据不同使用场景或不同终端加载所需类别分类等，并针对不同的人物形象进行分别采集，也可以统一采集。
在具体的应用场景中，可以根据在患者端对患者用户进行疾病问诊的医生形象、在医生端对初级医生用户进行疾病诊疗建议的专家形象、在医生端要求初级医生用户对疾病进行核对的专家形象及在专家端面向专家用户要求对疾病进行管理的孪生医生形象等进行分别采集，并将采集得到的人物图像按对应场景分类，形成所需数字虚拟人图像二维影像数据。
数字虚拟人图像处理模块21适于对采集的人物形象的二维影像数据进行处理以获得对应目标图像数据。具体的处理方式可以是对所采集的图像进行降噪、压缩、分割、配准、融合等技术处理，获取对应不同终端应用场景的对应数字虚拟人的人物形象图像。更为具体的，可以将采集的二维影像数据导入预置的计算机处理软件(比如3D Slicer)，以将所采集的二维影像数据进行所需的技术处理，获得目标图像数据。
数字虚拟人图像重建模块22适于对所述目标图像数据进行三维重建以生成对应数字虚拟人三维影像数据。三维重建的过程可以是根据预置的三维人像模型及目标图像数据对人物形象进行三维重建，最终可以得到包含三维人物形象的模型文件。更为具体的，也可以采用预置的计算机处理软件(比如3D Slicer)，基于三维模型重构技术对目标图像数据进行重新绘制，以获得所需的人物形象的三维模型文件。
数字虚拟人图像存储模块23适于根据疾病问诊、疾病建议、疾病核对及疾病管理等终端场景对构建的数字虚拟人三维影像数据(三维模型文件)进行分类存储以形成数字虚拟人疾病问诊显示数据、数字虚拟人疾病建议显示数据、数字虚拟人疾病核对数据以及数字虚拟人疾病管理显示数据。
当然在其他实施例中，服务器端内也可以设有相应的用于目标人物3D动态捕捉的数字虚拟人图像采集模块，即通过外部设备实现人物的三维原始数据采集。也就是说，数字虚拟人图像采集模块适于对所需制作数字虚拟人图像的三维原始影像数据进行采集。
因此，本发明技术方案的数字虚拟人图像采集模块可以是对数字虚拟人二维原始影像数据进行采集，也可以实现对数字虚拟人的三维原始影像数据进行采集。
此外，本发明技术方案的三维重建的过程还可以包括：静态扫描建模和动态光场重建，目前现有技术的主流技术仍为静态扫描，相比静态重建技术，具有高视觉保真度的动态光场三维重建技术不仅可以重建人物的几何模型，还可一次性获取动态的人物模型数据，并高品质重现不同视角下观看人体的光影效果，成为数字人建模重点发展方向。
静态扫描建模技术可分为结构光扫描重建和相机阵列扫描重建，结构光扫描重建扫描时间长，对于人体这类运动目标在友好度和适应性方面都差强人意，更多的应用于工业生产、检测领域。相机阵列扫描重建替代结构光扫描重建克服了以上问题成为人物建模主流方式。
本发明技术方案的数字虚拟人图像采集模块可以基于结构光扫描及相机阵列扫描获取到原始影像数据，通过处理模块进一步获取到目标图像数据。基于图像重新模块实现通过动态光场重建(人体动态三维重建和光场成像两部分)得到三维影像数据模型，实时染出真实的动态表演者模型，为3D建模提供更加丰富的图像信息。存储模块可以根据不同分类需要对生成的影像模型进行数据存储。
在上述技术中，原始影像数据至少包括：直接拍摄的二维影像数据或者动态捕捉的三维影像数据；所述原始影像数据还包括：场景数据，所述场景数据包括：光场成像数据。通过光场成像数据可以实时染出真实的动态表演者模型，为数字人的3D建模提供更加丰富的图像信息。
继续参考图2，数字虚拟人语音数据库141包括：数字虚拟人疾病问诊语音数据、数字虚拟人疾病建议语音数据、数字虚拟人疾病核对语音数据以及数字虚拟人疾病管理语音数据。服务器端14还包括：数字虚拟人语音文本采集模块30、数字虚拟人语音文本处理模块31以及数字虚拟人语音库32。
数字虚拟人语音文本采集模块30适于根据疾病问诊、疾病建议、疾病核对及疾病管理场景采集对应所需的数字虚拟人语音文本数据。针对数字虚拟人在终端所显示的不同人物形象及不同终端使用场景，数字虚拟人语音文本采集模块30需要预先采集不同人物形象显示时的数字虚拟人语音文本数据，例如：在患者端对患者用户进行疾病问诊时为数字虚拟人显示所采集相应的语音文本数据；在医生端对初级医生用户进行疾病诊疗建议时为数字虚拟人显示所采集相应的语音文本数据；在医生端要求初级医生用户对疾病进行核对时虚拟数字人显示所采集相应的语音文本数据；在专家端面向专家用户要求对疾病进行管理时针对孪生医生形象的虚拟数字人显示所采集相应的文本数据。
数字虚拟人语音文本处理模块31适于对不同应用场景的数字虚拟人形象显示所采集的语音文本数据进行处理以获得对应目标语音文本数据，并适于根据这些目标语音文本数据调取对应数字虚拟人语音库的语音数据以形成所述数字虚拟人疾病问诊语音数据、数字虚拟人疾病建议语音数据、数字虚拟人疾病核对语音数据以及数字虚拟人疾病管理语音数据。根据不同人声的语音数据，可以形成不同的数字虚拟人语音库，数字虚拟人语音文本处理模块31具体可以处理采集的文本数据，并根据预置的数字虚拟人语音库，在调用时以预置的数字虚拟人语音库语音根据所处理的语音文本数据对语音数据进行播放。数字虚拟人语音数据库141可以内置上述数字虚拟人语音库32以供数字虚拟人语音文本处理模块31调用。
继续参考图2，数字虚拟人孪生数据库142设有：数字虚拟人医疗数据。服务器端14进一步包括：医学元素采集模块40、医学元素匹配模块41及医学元素更新模块42。
医学元素采集模块40适于采集医学元素数据，医学元素数据可以包括若干医学检测报告的项目明细及其对应取值范围数据，也可以是医学图像报告中关键帧的图像特征数据。医学元素数据指的是可通过文本、图像特征等数值化的医学元素内容进行计算机数据输入的数据值。
医学元素匹配模块41适于根据采集的医学元素数据建立医学元素数据与预置疾病建议数据之间的匹配关系数据。根据计算机医疗技术，可将采集的医学元素数据文本化及图像特征化，根据预置的疾病建议数据(比如“甲流”、“呼吸窘迫”、“予以化疗”等)设置相对应的医学元素集合，以建立预置的疾病建议数据与医学元素集合之间的匹配关系数据。
医学元素更新模块42适于根据疾病管理数据调整上述医学元素数据及匹配关系数据。疾病管理数据包括：医学元素数据的管理数据、疾病建议数据的调整数据以及匹配关系的调整数据。医学元素更新模块42可以具体根据医学元素数据的管理数据调整预置的医学元素数据、根据疾病建议数据的调整数据调整预置的疾病建议数据、根据匹配关系的调整数据调整预置的医学元素数据集合与疾病建议数据之间的匹配关系数据。疾病管理数据可以是由专家端的专家用户根据专家端预置或提示输入指令，由专家在专家端上传的。数字虚拟人孪生数据库142内设的数字虚拟人医疗数据具体可以包括这些医学元素数据、预置疾病建议数据及匹配关系数据。据此，数字虚拟人孪生数据库可以通过医学元素更新模块42，基于专家端上传的医学元素数据、预置疾病建议数据及匹配关系数据的调整数据，实现对医学元素数据、预置疾病建议数据及匹配关系数据的更新。
医学元素匹配模块41也可以适于根据患者端或者专家端上传的实时医学元素数据，调取数字虚拟人孪生数据库142中的医学元素数据及匹配关系数据，匹配到与实时服务器端接收医学元素数据对应的预置疾病建议数据，从而确定疾病建议指令。
继续参考图1，并结合图3，本实施例的基于数字虚拟人的医疗数据交互系统可以通过如下方式实现服务器端14与患者端10、医生端11、医生端12、专家端13之间的医疗数据的交互，在不同终端实现不同数字虚拟人人物形象的增强现实显示与医疗提示语音播放，实现图像与信息的可视化与真实医疗模式的互动体验。
参考图3，患者端10适于根据预置或接收的疾病询问指令加载所述数字虚拟人疾病问诊显示数据及数字虚拟人疾病问诊语音数据，患者可根据所述数字虚拟人疾病问诊显示数据及数字虚拟人疾病问诊语音数据输入疾病问诊数据。患者端10还适于将所述疾病问诊数据发送至所述服务器端。
疾病询问指令可以是患者端预置的，也可以是患者端10基于患者用户输入的请求反馈接收的疾病询问指令。患者端10根据所述疾病询问指令，可以调取服务器端14的数字虚拟人显示数据库140以及数字虚拟人语音数据库141中配置的数字虚拟人疾病问诊显示数据及数字虚拟人疾病问诊语音数据，在患者端10进行显示及播放。患者端10中可以设置或链接VR模块或者AR模块，以对数字虚拟人疾病问诊显示数据进行解析及显示。根据患者端10数字虚拟人的显示图像及播放语音，患者用户可以基于患者端10的提示输入所需疾病问诊数据。患者端10会将患者输入的疾病问诊数据发送至服务器端14。疾病问诊数据发送至服务器端14后，服务器端14将这些数据与数字虚拟人孪生数据库142中的医疗元素进行匹配，并基于数字虚拟人孪生数据库142的匹配关系数据确定疾病建议指令。服务器端14会将这些疾病建议指令推送至医生端11。
医生端11适于根据接收的疾病建议指令加载数字虚拟人疾病建议显示数据及数字虚拟人疾病建议语音数据。医生可根据所述数字虚拟人疾病建议显示数据及数字虚拟人疾病建议语音数据输入疾病初步诊断数据。医生端11还适于将疾病初步诊断数据发送至服务器端14。
当服务器端14根据预置发送逻辑，将当前疾病建议指令发送至医生端11后，医生端11可根据疾病建议指令，调取服务器端14的数字虚拟人显示数据库140以及数字虚拟人语音数据库141中配置的数字虚拟人疾病建议显示数据及数字虚拟人疾病建议语音数据，在医生端11进行显示及播放。医生端11中可以设置或链接至VR模块或者AR模块，以对数字虚拟人疾病建议显示数据进行解析及显示。根据医生端11的数字虚拟人的显示图像及播放语音，医生用户可以基于医生端11的提示输入所需疾病初步诊断数据。医生端11会将这些输入的疾病初步诊断数据发送至服务器端14。疾病初步诊断数据发送至服务器端14后，服务器端14会根据预置疾病诊断逻辑，基于疾病初步诊断指令生成疾病核对指令，并根据预置发送逻辑，将这些疾病核对指令推送至医生端12。
医生端12适于根据接收的疾病核对指令加载数字虚拟人疾病核对显示数据及数字虚拟人疾病核对语音数据，医生可根据所述数字虚拟人疾病核对显示数据及数字虚拟人疾病核对语音数据输入疾病核对数据。医生端12还适于将疾病核对数据发送至服务器端14。
当服务器端14根据预置发送逻辑，将疾病核对指令发送至医生端12后，医生端12可根据疾病核对指令，调取服务器端14的数字虚拟人显示数据库140以及数字虚拟人语音数据库141中配置的数字虚拟人疾病核对显示数据及数字虚拟人疾病核对语音数据，医生端12可进行加载、显示及播放相应的数字虚拟人疾病核对显示数据及数字虚拟人疾病核对语音数据。医生端12中可以设置或链接至VR模块或者AR模块，以对数字虚拟人疾病核对显示数据进行解析及显示。根据医生端12的数字虚拟人的显示图像及播放语音，医生用户可以基于医生端12的提示输入所需疾病核对数据。医生端12会将这些输入的疾病核对数据发送至服务器端14。疾病核对数据发送至服务器端14后，服务器端14会根据预置疾病诊断逻辑，基于疾病核对数据生成疾病管理指令，并根据预置发送逻辑，将这些疾病管理指令推送至专家端13。
在其他实施例中，服务器端14会根据预置疾病诊断逻辑，也可以基于疾病初步诊断数据生成疾病管理指令，并根据预置发送逻辑，将这些疾病管理指令推送至专家端13。
专家端13适于根据接收或预置的疾病管理指令加载数字虚拟人疾病管理显示数据及数字虚拟人疾病管理语音数据，专家可根据所述数字虚拟人疾病管理显示数据及数字虚拟人疾病管理语音数据输入疾病管理数据。专家端13还适于将疾病管理数据发送至服务器端14。
服务器端14接收到专家端13上传的疾病管理数据后，可以进一步提取其中的医学元素数据的管理数据、疾病建议数据的调整数据以及匹配关系的调整数据，并通过医学元素更新模块42调整预置的医学元素数据、疾病建议数据、医学元素数据集合与疾病建议数据之间的匹配关系数据等，以更新数字虚拟人孪生数据库142中的数字虚拟人医疗数据。
结合图4，患者端10可进一步包括：解析显示模块50、辅助显示模块51以及解析播放模块52。其中，解析显示模块50适于解析患者端10所加载的数字虚拟人疾病问诊显示数据以显示数字虚拟人疾病问诊的显示图像；辅助显示模块51适于将所述数字虚拟人疾病问诊显示图像叠加至真实世界/虚拟世界的指定位置以增强图像；解析播放模块52适于解析患者端所加载的数字虚拟人疾病问诊语音数据以播放。解析显示模块50具体可以和患者端10设有的或者外部设备的VR模块或者AR模块等虚拟现实或增强现实的视觉显示模块连接(图4中示意了解析显示模块50连接至外部AR模块)，以更好地现实增强虚拟数字人图像显示。解析显示模块50也可以兼做VR模块或者AR模块等视觉显示模块。继续参考图4，患者端10还可以包括：患者交互模块53。所述患者交互模块53适于基于拍摄的患者手势图像、患者语音、采集患者上传的疾病诊断图像或者患者在患者端10界面填写的疾病输入据以生成所述疾病问诊数据。
结合图5，医生端11可进一步包括：解析显示模块60、辅助显示模块61以及解析播放模块62。解析显示模块60适于解析医生端11所加载的数字虚拟人疾病建议显示数据以显示数字虚拟人疾病建议显示图像。辅助显示模块61适于将数字虚拟人疾病建议显示图像叠加至真实世界/虚拟世界的指定位置以增强图像。解析播放模块62适于解析医生端11所加载的数字虚拟人疾病建议语音数据以播放。解析显示模块60可以通过连接至外部设备的VR模块或者AR模块等虚拟现实或增强现实的视觉显示模块连接(图5中示意了解析显示模块60连接至外部AR模块)，以更好地现实增强虚拟数字人图像显示。解析显示模块60也可以兼做VR模块或者AR模块等视觉显示模块。继续参考图5，医生端11还包括：医生交互模块63。医生交互模块63适于基于拍摄的医生手势及医生语音生成所述疾病初步诊断数据。
基于相同的框架，结合图6，医生端12也可进一步包括：解析显示模块70、辅助显示模块71、解析播放模块72。或者医生端12还可以包括：医生交互模块73。解析显示模块70可与外部或内置的VR模块或者AR模块连接，以解析医生端12所加载的数字虚拟人疾病核对显示数据，用于显示数字虚拟人疾病核对显示图像。辅助显示模块71适于解析医生端12所加载的数字虚拟人疾病核对显示数据以显示数字虚拟人疾病核对显示图像。解析播放模块72适于解析医生端12所加载的数字虚拟人疾病核对语音数据以播放。医生交互模块73则可基于拍摄的医生手势及医生语音生成所述疾病初步诊断数据。
基于相同的框架，专家端13也可以包括：解析显示模块80、辅助显示模块81、解析播放模块82以及专家交互模块83。结合图7，解析显示模块80适于解析专家端13所加载的数字虚拟人疾病管理显示数据以显示数字虚拟人疾病管理显示图像。辅助显示模块81适于将所述数字虚拟人疾病管理显示图像叠加至真实世界/虚拟世界的指定位置以增强图像。解析播放模块82适于解析专家端13所加载的数字虚拟人疾病管理语音数据以播放。专家交互模块83适于基于拍摄的专家手势及专家语音以生成疾病管理数据。类似的，解析显示模块80可以与内置或外部的VR模块或AR模块连接。
继续参考图8，服务器端14适配地在具体实施例中也可以进一步包括：疾病查询模块90、疾病核对模块91、疾病管理模块92以及疾病更新模块93。
疾病查询模块90连接至患者端10、医生端11，适于将患者端10上传的疾病问诊数据与数字虚拟人孪生数据库中存储的医学元素数据进行匹配，当匹配关系符合数字虚拟人孪生数据库中存储的匹配关系数据，则基于对应的疾病建议数据形成所述疾病建议指令，并推送至医生端11。
疾病核对模块91连接至医生端11、医生端12，适于基于医生端11上传的疾病初步诊断数据形成所述疾病核对指令，并推送至医生端12。
疾病管理模块92连接至医生端12、专家端13，适于基于医生端12上传的疾病核对数据生成疾病管理指令，并推送至专家端13。在其他实施例中，疾病管理模块92也可以连接至医生端11，适于基于医生端11上传的疾病初步诊断数据形成疾病管理指令，并推送至专家端13。
疾病更新模块93连接至专家端13，适于基于专家端13上传的疾病管理数据形成医学元素数据的管理数据、疾病建议数据的调整数据以及匹配关系的调整数据，并将所形成的医学元素数据的管理数据、疾病建议数据的调整数据以及匹配关系的调整数据发送至医学元素更新模块42。医学元素更新模块42可以具体根据医学元素数据的管理数据调整预置的医学元素数据、根据疾病建议数据的调整数据调整预置的疾病建议数据、根据匹配关系的调整数据调整预置的医学元素数据集合与疾病建议数据之间的匹配关系数据，从而实现更新数字虚拟人医疗数据。
参考图2，在本实施例提供的该基于数字虚拟人的医疗数据交互系统基础上，本实施例还提供了一种用于提供数字虚拟人医疗数据的服务系统，可通过本实施例的服务器端14实现，具体包括：数字虚拟人显示数据库140、数字虚拟人语音数据141、数字虚拟人孪生数据库142。数字虚拟人显示数据库140、数字虚拟人语音数据141、数字虚拟人孪生数据库142的具体结构与交互方式可以参考上述实施例的内容，此处不再赘述。
基于本发明技术方案的上述实施例：
医学元素数据的来源可以是专家提供的医学知识库，医学知识库所包含的图像数据或有权威性的医学档案中所包含的文本数据。根据采集的医学元素数据，建立医学元素数据与预置疾病建议数据之间的匹配关系数据。AI分析医学知识库中文本结合后产生的辅助解析数据，用于AI在调用纯知识库文本时，可以便捷的解析出语境，用AI自己的理解映射文本所产生的数据，从而得到预置疾病建议数据及匹配关系数据。
在患者端根据疾病询问指令加载的数字虚拟人疾病问诊显示数据及数字虚拟人疾病问诊语音数据，显示的这些数据多是为了获取病情信息而提出的自然语言问题，让患者轻松理解并回答出医生需要的信息。
在医生端及专家端加载的数字虚拟人疾病建议显示数据及数字虚拟人疾病建议语音数据、数字虚拟人疾病核对显示数据及数字虚拟人疾病核对语音数据、数字虚拟人疾病管理显示数据及数字虚拟人疾病管理语音数据等数据多是在患者用白话讲述病情后，经过AI技术理解过滤后，直接给出的医学专业名词，方便医生对病情进行最快捷的诊断。
例如：
患者端加载数字虚拟人疾病问诊显示数据及数字虚拟人疾病问诊语音数据，通过AR或VR显示医生数字人或可直接通过显示屏显示虚拟人图像的便携式终端的应用软件，并加载语音为“请问您是什么症状”等语句，一般以亲和的语气和词句直接提出问询，医生端则可以接收服务器端基于数字虚拟人孪生数据库的匹配关系数据确定的疾病建议指令，加载数字虚拟人疾病建议显示数据及数字虚拟人疾病建议语音数据，提示输入疾病初步诊断数据，一般医生端可显示基于病人提供病情的直接文本报告数据，例如病人在患者端输入：“我最近没有症状，体检时CT发现肺内结节影”在经过服务器端数字虚拟人孪生数据库的匹配分析后反馈给医生端的为相关AR/VR数字人显示，并提示语音“病人无症状，CT发现肺内结节影”，反馈给医生端的词语多出现在服务器端的医生知识库中，以专业词汇代替白话，专家端与医生端大致相同，取决于提供的知识库。
本发明技术方案的基于数字虚拟人孪生数据库的匹配关系数据确定的疾病建议指令过程可以基于预存的医疗元素数据，用于AI评估病人上传的问诊数据，并根据关键字匹配，得出评估结果或形成相关语音数据，作为疾病建议指令推送至相应医生端。具体为：
病人在患者端上传疾病问诊数据：我最近体检，发现双肺都有结节影，这个严重吗？我日常生活没有任何不舒服的感觉。
AI评估过程：检索预存的医疗元素数据，在文本库中找到相关答案的关键字，并根据关键字存在位置的语境分析出实际要表达的意思是否和需要提供的答案吻合。
评估结果：肺结节为影像学中表现为单一或多发的类圆形肺部阴影，周围包绕正常肺组织，且没有积液或肺不张。其中90％为良性肺结节，包括感染或非感染性肉芽肿，以及良性肿瘤如错构瘤，血管损伤以及其它情况。其余可为组织病理证明的恶性的肺结节，并可根据浸润范围分为原位癌，微浸润或浸润性；早期(原位癌和微浸润)和非早期；根据组织学分为腺癌、鳞状细胞癌；神经内分泌肿瘤。
基于这些评估结果确定疾病建议指令。服务器端会将这些疾病建议指令推送至相应医生端。
又如：
病人在患者端上传疾病问诊数据：“如何知道是良性的，还是恶性的？”
服务器端会对上述疾病问诊数据进行评估，检测到预设的关键字，并匹配以确定：“鉴别诊断”。将这些确定的名词以问诊语音数据，再以诊断学名词解释，如“评估手段包括临床信息、影像学、肿瘤标志物、功能显像、非手术和手术活检”推送至相应医生端以方便医生诊断。
再如：
病人在患者端可上传疾病问诊数据：“我的肺结节只有6mm左右，看诊医生说没有办法靠影像学、肿瘤标志物、功能显像、非手术和手术活检确诊，还有其他办法吗？”
在医生端得到相应服务器端反馈的疾病建议数据后，医生端可根据显示或文本显示的疾病建议数据，输入初步诊断数据反馈：“这是难定性肺结节，可通过AI赋能专家评估，以及初评和研判二流程提出诊疗方案。在初评和研判二流程中，初评医生与研判专家均可根据PNapp5A“端”页面显示的1A-5A程序逐项填报、核对相关信息或检查结果，反馈至“云”后即可立刻获得评估结果和质控提醒信息，包括评估肺结节恶性风险的轻、中、重度分级和质控的纠错信息，辅助初评和研判流程的精准进行和快速完成。以保证评估质量，使其达到同质化诊疗水平”。
当医生端收到患者端再次反馈的问诊数据以及医生端疾病核对指令，医生端将加载数字虚拟人疾病核对显示数据(如专家数字人AR/VR影像)及数字虚拟人疾病核对语音数据(如文本及语音显示“肺结节CT影像可见到分页毛刺和血管征”)，医生可根据所述数字虚拟人疾病核对显示数据及数字虚拟人疾病核对语音数据输入疾病核对数据，如“评估结果高度怀疑肺结节为恶性”，医生端将疾病核对数据反馈至服务器端。
本发明技术方案的疾病管理数据可以为专家在专家端填写或更新的表单文件，专家端在收到专家填写或更新该表单文件后，会同时写入或更新放置在服务器端的相应医学元素数据等数据，以用于数据分析处理和管理，表单内容大致为：患者个人信息，患者病史，CT检查结果，AI评估结果，疾病诊断结果，疾病治疗方案等。根据该疾病管理数据，可以进一步提取其中的医学元素数据的管理数据、疾病建议数据的调整数据以及匹配关系的调整数据，并通过医学元素更新模块调整预置的医学元素数据、疾病建议数据、医学元素数据集合与疾病建议数据之间的匹配关系数据等。
通过上述专家提供或更新的疾病管理数据表单，可以更新数字虚拟人孪生数据库中的数字虚拟人医疗数据。专家提供或更新的疾病管理数据表单中的患者病症和解决方案相结合，映射同类病症解决方案，从而学习专家的研判，例如在线下或线下的专家诊断中反映出病人：CT发现肺结节，诊断为肺结节，诊断方案包括临床信息、影像学、肿瘤标志物、功能显像、非手术和手术活检，还不能确诊者可通过AI赋能专家评估，以及初评和研判二流程提出诊疗方案，从而实现更新。
患者端上传的疾病问诊数据也包括：检验或检查图像。本发明技术方案的服务器端也可以实现对患者端上传的检验或检查图像研判疾病：通过对比分析大量案例图像的特征，比如分页毛刺和血管征之图像特征，以及随访对比发现的结节直径、密度和体积变化，可以将其和各个病症图像库进行对比，从而分析在相对概率下的良恶性概率，最终将反馈出来的概率表单加载在医生端，用以节省医生对于初评和研判分析病例的时间。所述疾病建议数据也包括：检验或检查图像，AI分析和研判结果。
在具体的应用例中，可以通过如下方式实现服务器端的数字虚拟人语音文本处理模块及形成数字虚拟人语音库：
数字虚拟人语音文本处理模块包括利用本地主机端部署的Video to Text模型。其实现原理是对声音进行分帧，也就是把声音切开成一小段一小段，每小段称为一帧，分帧后，语音就变成了很多小段。但波形在时域上几乎没有描述能力，因此必须将波形作变换。
常见的一种变换方法是提取梅尔倒谱系数(MFCC)特征，根据人耳的生理特性，把每一帧波形变成一个多维向量，可以简单地理解为这个向量包含了这帧语音的内容信息。这个过程叫做声学特征提取，然后使用隐马尔可夫模型，匹配最佳的文字答案，实现语音转文本。
在通过数字虚拟人语音文本采集模块搜集到语音文本后，通过NLP自然语言处理技术对文本进行分析转化，得到需要利用的关键词，对应数据库内，再给出自然语言的文本答案。最后基于语音模型，将文本映射成语音。
在具体的应用例中，可以通过如下方式实现医学元素采集模块、医学元素匹配模块及医学元素更新模块：根据专家提供及更新的疾病管理数据表单中的患者病症和解决方案相结合，映射同类病症解决方案，从而学习专家的研判，例如病人再专家诊断中反映出：无症状体检患者中发现肺结节影，诊断为肺结节。诊断方案包括相应的检查、人工智能分析，初评研判两流程等等，映射解决方案和病症，从而实现更新。
本发明技术方案中，患者端可以通过患者交互模块实现患者交互，具体可采用AR、VR或相应的可在显示屏显示、或者通过按键交互的便携式终端设备交互：患者终端对于面对说话不便的患者时，会有便捷肢体交互模块供患者选择，患者可以通过肢体交互在服务器持续提出的问题中作答。从而成功将其问诊信息提供到数据库。患者交互模块的交互方式包括：运用UCF101数据库，患者在镜头前进行肢体动作的时候，后台采用深度学习的方法之一C3D，即Two-Stream之外的另一个主流方法、也就是用三维的卷积核处理视频。C3D可采用8次卷积(Conv.)操作，5次池化(Pool)操作。其中卷积核的大小均为3×3×3，步长为1。池化核为2×2×2，为了不过早的缩减在时序上的长度，第一层的池化大小和步长为1×2×2。最后网络再经过两次全连接层(fc：fully connected layer)和softmax层后得到最终的输出结果。网络的输入为3×16×112×112，其中3为RGB三通道，16为输入图像的帧数，112×112是图像的输入尺寸。(C3D net has 8convolution.5max-pooling.and 2fullyconnected layers.followed by a softmax output layerAll 3D convolution kernelsare 3×3×3with stride 1in both spatial and temporal dimensions.Number offilters are denoted in each boxThe 3D pooling layers are denoted from pool1to pool5.All pooling kemels are 2×2×2,except for pool1 is 1×2×2.Eachfullyconnected layer has 4096output units.)图9示意了患者交互模块采用的三维卷积网络模型(C3D net)结构示意图。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (17)

1.一种基于数字虚拟人的医疗数据交互系统，其特征在于，包括：患者端、第一医生端、第二医生端、专家端及服务器端；所述服务器端设有：数字虚拟人显示数据库、数字虚拟人语音数据、数字虚拟人孪生数据库；
所述数字虚拟人显示数据库包括：数字虚拟人疾病问诊显示数据、数字虚拟人疾病建议显示数据、数字虚拟人疾病核对数据以及数字虚拟人疾病管理显示数据；
所述数字虚拟人语音数据库包括：数字虚拟人疾病问诊语音数据、数字虚拟人疾病建议语音数据、数字虚拟人疾病核对语音数据以及数字虚拟人疾病管理语音数据；
所述数字虚拟人孪生数据库包括：数字虚拟人医疗数据；
所述患者端适于根据预置或接收的疾病询问指令加载所述数字虚拟人疾病问诊显示数据及数字虚拟人疾病问诊语音数据，患者可根据所述数字虚拟人疾病问诊显示数据及数字虚拟人疾病问诊语音数据输入疾病问诊数据；所述患者端还适于将所述疾病问诊数据发送至所述服务器端；
所述服务器端适于根据所述疾病问诊数据查询所述数字虚拟人医疗数据以确定疾病建议指令，并将所述疾病建议指令推送至所述第一医生端；
所述第一医生端适于根据接收的疾病建议指令加载所述数字虚拟人疾病建议显示数据及数字虚拟人疾病建议语音数据，医生可根据所述数字虚拟人疾病建议显示数据及数字虚拟人疾病建议语音数据输入疾病初步诊断数据；所述第一医生端还适于将所述疾病初步诊断数据发送至所述服务器端；
所述服务器端还适于根据所述疾病初步诊断数据生成疾病核对指令，并将所述疾病核对指令推送至所述第二医生端；
所述第二医生端适于根据接收的疾病核对指令加载所述数字虚拟人疾病核对显示数据及数字虚拟人疾病核对语音数据，医生可根据所述数字虚拟人疾病核对显示数据及数字虚拟人疾病核对语音数据输入疾病核对数据；所述第二医生端还适于将所述疾病核对数据发送至所述服务器端；
所述服务器端还适于根据所述疾病初步诊断数据和/或疾病核对数据生成疾病管理指令，并将所述疾病管理指令推送至所述专家端；
所述专家端适于根据接收或预置的疾病管理指令加载所述数字虚拟人疾病管理显示数据及数字虚拟人疾病管理语音数据，专家可根据所述数字虚拟人疾病管理显示数据及数字虚拟人疾病管理语音数据输入疾病管理数据；所述专家端还适于将所述疾病管理数据发送至所述服务器端；
所述服务器端还适于根据所述疾病管理数据更新所述数字虚拟人医疗数据。
2.如权利要求1所述的基于数字虚拟人的医疗数据交互系统，所述服务器端包括：数字虚拟人图像采集模块、数字虚拟人图像处理模块、数字虚拟人图像重建模块及数字虚拟人图像存储模块；
所述数字虚拟人图像采集模块适于根据疾病问诊、疾病建议、疾病核对及疾病管理场景采集对应所需的数字虚拟人图像原始影像数据；
所述数字虚拟人图像处理模块适于对所述原始影像数据进行处理以获得对应目标图像数据；
所述数字虚拟人图像重建模块适于对所述目标图像数据进行三维重建以生成对应数字虚拟人三维影像数据；
所述数字虚拟人图像存储模块适于根据所述疾病问诊、疾病建议、疾病核对及疾病管理场景对所述数字虚拟人三维影像数据进行分类存储以形成所述数字虚拟人疾病问诊显示数据、数字虚拟人疾病建议显示数据、数字虚拟人疾病核对数据以及数字虚拟人疾病管理显示数据；
所述原始影像数据至少包括：直接拍摄的二维影像数据或者动态捕捉的三维影像数据；所述原始影像数据还包括：场景数据，所述场景数据包括：光场成像数据。
3.如权利要求1所述的基于数字虚拟人的医疗数据交互系统，所述服务器端包括：数字虚拟人语音文本采集模块、数字虚拟人语音文本处理模块、数字虚拟人语音库；
所述数字虚拟人语音文本采集模块适于根据疾病问诊、疾病建议、疾病核对及疾病管理场景采集对应所需的数字虚拟人语音文本数据；
所述数字虚拟人语音文本处理模块适于对所述数字虚拟人语音文本数据进行处理以获得对应目标语音文本数据，并适于根据所述目标语音文本数据调取对应数字虚拟人语音库的语音数据以形成所述数字虚拟人疾病问诊语音数据、数字虚拟人疾病建议语音数据、数字虚拟人疾病核对语音数据以及数字虚拟人疾病管理语音数据。
4.如权利要求1所述的基于数字虚拟人的医疗数据交互系统，所述服务器端包括：医学元素采集模块、医学元素匹配模块及医学元素更新模块；
所述医学元素采集模块适于采集医学元素数据；
所述医学元素匹配模块适于根据采集的医学元素数据建立预置疾病建议数据的匹配关系数据；
所述医学元素更新模块适于根据疾病管理数据调整所述医学元素数据及匹配关系数据；
所述数字虚拟人医疗数据包括：所述医学元素数据、预置疾病建议数据及匹配关系数据。
5.如权利要求1所述的基于数字虚拟人的医疗数据交互系统，其特征在于，所述患者端包括：第一解析显示模块、第一辅助显示模块以及第一解析播放模块；
所述第一解析显示模块适于解析患者端所加载的数字虚拟人疾病问诊显示数据以显示数字虚拟人疾病问诊显示图像；
所述第一辅助显示模块适于将所述数字虚拟人疾病问诊显示图像叠加至真实世界/虚拟世界的指定位置以增强图像；
所述第一解析播放模块适于解析患者端所加载的数字虚拟人疾病问诊语音数据以播放。
6.如权利要求1或5所述的基于数字虚拟人的医疗数据交互系统，其特征在于，所述患者端还包括：患者交互模块；所述患者交互模块适于采集患者手势、患者语音以及疾病图像以生成所述疾病问诊数据。
7.如权利要求1所述的基于数字虚拟人的医疗数据交互系统，其特征在于，所述第一医生端包括：第二解析显示模块、第二辅助显示模块以及第二解析播放模块；
所述第二解析显示模块适于解析第一医生端所加载的数字虚拟人疾病建议显示数据以显示数字虚拟人疾病建议显示图像；
所述第二辅助显示模块适于将所述数字虚拟人疾病建议显示图像叠加至真实世界/虚拟世界的指定位置以增强图像；
所述第二解析播放模块适于解析第一医生端所加载的数字虚拟人疾病建议语音数据以播放。
8.如权利要求1或7所述的基于数字虚拟人的医疗数据交互系统，其特征在于，所述第一医生端还包括：医生交互模块；所述医生交互模块适于采集医生手势及医生语音以生成所述疾病初步诊断数据。
9.如权利要求1所述的基于数字虚拟人的医疗数据交互系统，其特征在于，所述第二医生端包括：第三解析显示模块、第三辅助显示模块以及第三解析播放模块；
所述第三解析显示模块适于解析第二医生端所加载的数字虚拟人疾病核对显示数据以显示数字虚拟人疾病核对显示图像；
所述第三辅助显示模块适于将所述数字虚拟人疾病核对显示图像叠加至真实世界/虚拟世界的指定位置以增强图像；
所述第三解析播放模块适于解析第二医生端所加载的数字虚拟人疾病核对语音数据以播放。
10.如权利要求1所述的基于数字虚拟人的医疗数据交互系统，其特征在于，所述专家端包括：第四解析显示模块、第四辅助显示模块以及第四解析播放模块；
所述第四解析显示模块适于解析专家端所加载的数字虚拟人疾病管理显示数据以显示数字虚拟人疾病管理显示图像；
所述第四辅助显示模块适于将所述数字虚拟人疾病管理显示图像叠加至真实世界/虚拟世界的指定位置以增强图像；
所述第四解析播放模块适于解析专家端所加载的数字虚拟人疾病管理语音数据以播放。
11.如权利要求1或10所述的基于数字虚拟人的医疗数据交互系统，其特征在于，所述专家端还包括：专家交互模块；所述专家交互模块适于采集专家手势及专家语音以生成所述疾病管理数据。
12.如权利要求1至11任一项所述的数字虚拟人的医疗数据交互系统，其特征在于，所述服务器端还包括：疾病查询模块、疾病核对模块、疾病管理模块以及疾病更新模块。
13.如权利要求1所述的数字虚拟人的医疗数据交互系统，其特征在于，所述患者端上传的疾病问诊数据包括：检验或检查图像；所述疾病建议数据也包括：检验或检查图像研判结果；所述服务器端包括：检验或检查图像模块；所述检验或检查图像模块适于：通过检查相应的图像，进行对比分析图像特征，将所述检验或检查图像和病症图像库进行对比，从而分析罹患相应疾病的风险概率值，最终将图像反馈结果作为所述检验或检查图像研判结果。
14.一种用于提供数字虚拟人医疗数据的服务系统，其特征在于，包括：数字虚拟人显示数据库、数字虚拟人语音数据、数字虚拟人孪生数据库；所述数字虚拟人显示数据库包括：数字虚拟人疾病问诊显示数据、数字虚拟人疾病建议显示数据、数字虚拟人疾病核对数据以及数字虚拟人疾病管理显示数据；所述数字虚拟人语音数据库包括：数字虚拟人疾病问诊语音数据、数字虚拟人疾病建议语音数据、数字虚拟人疾病核对语音数据以及数字虚拟人疾病管理语音数据；所述数字虚拟人孪生数据库包括：数字虚拟人医疗数据。
15.如权利要求14所述的一种用于提供数字虚拟人医疗数据的服务系统，其特征在于，还包括：数字虚拟人图像采集模块、数字虚拟人图像处理模块、数字虚拟人图像重建模块及数字虚拟人图像存储模块；
所述数字虚拟人图像采集模块适于根据疾病问诊、疾病建议、疾病核对及疾病管理场景采集对应所需的数字虚拟人图像原始影像数据；
所述数字虚拟人图像处理模块适于对所述原始影像数据进行处理以获得对应目标图像数据；
所述数字虚拟人图像重建模块适于对所述目标图像数据进行三维重建以生成对应数字虚拟人三维影像数据；
所述数字虚拟人图像存储模块适于根据所述疾病问诊、疾病建议、疾病核对及疾病管理场景对所述数字虚拟人三维影像数据进行分类存储以形成所述数字虚拟人疾病问诊显示数据、数字虚拟人疾病建议显示数据、数字虚拟人疾病核对数据以及数字虚拟人疾病管理显示数据；
所述原始影像数据至少包括：直接拍摄的二维影像数据或者动态捕捉的三维影像数据；所述原始影像数据还包括：场景数据，所述场景数据包括：光场成像数据。
16.如权利要求14所述的一种用于提供数字虚拟人医疗数据的服务系统，其特征在于，还包括：数字虚拟人语音文本采集模块、数字虚拟人语音文本处理模块、数字虚拟人语音库；
所述数字虚拟人语音文本采集模块适于根据疾病问诊、疾病建议、疾病核对及疾病管理场景采集对应所需的数字虚拟人语音文本数据；
所述数字虚拟人语音文本处理模块适于对所述数字虚拟人语音文本数据进行处理以获得对应目标语音文本数据，并适于根据所述目标语音文本数据调取对应数字虚拟人语音库的语音数据以形成所述数字虚拟人疾病问诊语音数据、数字虚拟人疾病建议语音数据、数字虚拟人疾病核对语音数据以及数字虚拟人疾病管理语音数据。
17.如权利要求14所述的一种用于提供数字虚拟人医疗数据的服务系统，其特征在于，还包括：医学元素采集模块、医学元素匹配模块及医学元素更新模块；
所述医学元素采集模块适于采集医学元素数据；
所述医学元素匹配模块适于根据采集的医学元素数据建立预置疾病建议数据的匹配关系数据；
所述医学元素更新模块适于根据疾病管理数据调整所述医学元素数据及匹配关系数据；
所述数字虚拟人医疗数据包括：所述医学元素数据、预置疾病建议数据及匹配关系数据。
CN202310534119.6A 2023-05-12 2023-05-12 基于数字虚拟人的医疗数据交互系统及服务系统 Pending CN116825388A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310534119.6A CN116825388A (zh) 2023-05-12 2023-05-12 基于数字虚拟人的医疗数据交互系统及服务系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310534119.6A CN116825388A (zh) 2023-05-12 2023-05-12 基于数字虚拟人的医疗数据交互系统及服务系统

Publications (1)

Publication Number Publication Date
CN116825388A true CN116825388A (zh) 2023-09-29

Family

ID=88126621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310534119.6A Pending CN116825388A (zh) 2023-05-12 2023-05-12 基于数字虚拟人的医疗数据交互系统及服务系统

Country Status (1)

Country Link
CN (1) CN116825388A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975780A (zh) * 2016-05-10 2016-09-28 华南理工大学 一种基于虚拟现实交互技术的机器问诊系统
KR20190066689A (ko) * 2017-12-06 2019-06-14 고려대학교 산학협력단 진료 보조 시스템 및 방법
US20210070307A1 (en) * 2019-09-06 2021-03-11 University Of Central Florida Research Foundation, Inc. Autonomous Systems Human Controller Simulation
KR20220043562A (ko) * 2020-09-29 2022-04-05 인제대학교 산학협력단 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템
CN114743648A (zh) * 2022-03-31 2022-07-12 联想新视界(南昌)人工智能工研院有限公司 一种基于大数据和深度学习的数字虚拟人医疗问诊方法及系统
CN115295172A (zh) * 2022-06-30 2022-11-04 惠众健康科技(苏州)有限公司 一种云加端智能辅助系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975780A (zh) * 2016-05-10 2016-09-28 华南理工大学 一种基于虚拟现实交互技术的机器问诊系统
KR20190066689A (ko) * 2017-12-06 2019-06-14 고려대학교 산학협력단 진료 보조 시스템 및 방법
US20210070307A1 (en) * 2019-09-06 2021-03-11 University Of Central Florida Research Foundation, Inc. Autonomous Systems Human Controller Simulation
KR20220043562A (ko) * 2020-09-29 2022-04-05 인제대학교 산학협력단 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템
CN114743648A (zh) * 2022-03-31 2022-07-12 联想新视界(南昌)人工智能工研院有限公司 一种基于大数据和深度学习的数字虚拟人医疗问诊方法及系统
CN115295172A (zh) * 2022-06-30 2022-11-04 惠众健康科技(苏州)有限公司 一种云加端智能辅助系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MALLIK R, ET AL: "Exploring the Role of Virtual Reality to Support Clinical Diabetes Training-A Pilot Study", J DIABETES SCI TECHNOL, vol. 16, no. 04, 31 December 2022 (2022-12-31), pages 844 - 851 *
徐晤，等: "诊断学虚拟问诊系统的设计与实现", 中国高等医学教育, no. 06, 15 June 2007 (2007-06-15), pages 87 - 88 *
王伟东，等: "基于Web的3D虚拟人智能导诊系统设计", 湛江师范学院学报, vol. 33, no. 06, 15 December 2012 (2012-12-15), pages 123 - 126 *
虞晓龙，等: "沉浸式虚拟临床问诊技能培训系统在医学教育中的优势", 中文科技期刊数据库(引文版)医药卫生, vol. 01, no. 06, 31 December 2021 (2021-12-31), pages 25 - 29 *

Similar Documents

Publication Publication Date Title
CN110007455B (zh) 病理显微镜、显示模组、控制方法、装置及存储介质
CN1615489B (zh) 图像报告方法和系统
CN112801168B (zh) 一种肿瘤影像的病灶区域预测分析方法、系统及终端设备
CN106372390A (zh) 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN115064246B (zh) 一种基于多模态信息融合的抑郁症评估系统及设备
CN112712879A (zh) 医学影像报告的信息提取方法、装置、设备及存储介质
JP2008506188A (ja) ジェスチャ・ベース報告方法およびシステム
CN111755118A (zh) 医疗信息处理方法、装置、电子设备及存储介质
US20220076052A1 (en) Similarity determining method and device, network training method and device, search method and device, and electronic device and storage medium
WO2020168698A1 (zh) 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品
EP1714228A2 (en) Medical image analysis using speech synthesis
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN115994902A (zh) 医学图像分析方法、电子设备及存储介质
Yang et al. Data augmentation for depression detection using skeleton-based gait information
CN115410254A (zh) 一种基于深度学习的多特征表情识别方法
CN109147927B (zh) 一种人机交互方法、装置、设备及介质
CN113241175B (zh) 基于边缘计算的帕金森症辅助诊断系统和方法
CN110473176A (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
CN118013001A (zh) 基于知识库和大语言模型的互动式知识交互系统
CN117633558A (zh) 基于视觉语言模型的多激励融合零样本病变检测方法
CN112397178A (zh) 一种基于人工智能的医学影像分类处理系统
CN116825388A (zh) 基于数字虚拟人的医疗数据交互系统及服务系统
CN111696085B (zh) 一种肺冲击伤伤情现场快速超声评估方法及设备
CN114121218A (zh) 应用于手术的虚拟场景构建方法、装置、设备及介质
WO2021209525A1 (en) Determining a medical professional having experience relevant to a medical procedure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination