【发明内容】
为了解决现有技术中的上述问题,本发明采用的技术方案如下:一种基于大数据的医疗健康数据管理系统,该系统包括:
通过心血管诊断评估康复终端设备和心肺功能评估康复的便携设备,采集医疗健康数据,将每次采集的医疗健康数据和医疗健康数据的对象属性一起封装为医疗健康数据包,并将医疗健康数据包通过物联网上传到医疗健康数据处理服务器;
医疗健康数据处理服务器对接收到的医疗健康数据包进行数据处理,具体的:所述医疗健康数据处理服务器包括数据预处理模块、任务分配模块和一个或多个数据处理模块;
数据预处理模块将医疗健康数据包进行清洗、转换、格式化、集成,对医疗健康数据包进行过滤,形成一条或多条数据记录,然后发送给任务分配模块;
任务分配模块用于对一条或者多条数据记录创建数据处理任务,并将数据处理任务分配到数据处理模块;具体的:任务分配模块获取每个数据处理模块的平均处理速度ASi和队列长度QLi,基于公式(1)计算每个数据处理模块的调度值Si,和数据处理模块的实际平均调度值AVS,顺序获取
条数据记录,为所述
条数据记录创建数据处理任务,并将数据处理任务分配到调度值最小的数据处理模块中;
其中,Sj为调度值不等于MAXS的调度值Si,ACT_ALL为Sj的个数;MAXS为调度值的极大值;QL_T1和QL_T1为预设值;QL_T1>QL_T1;BAL为调节参数;
数据处理模块接收分配的数据处理任务,并对所述接收到的数据处理任务中的数据记录进行处理;
医疗健康数据分析服务器接收经过处理的数据记录,并将所述数据记录保存在分析缓存中,当分析缓存中的数据记录条数达到条数阈值时,对所述分析缓存中的数据记录进行数据分析,并将分析结果保存在结果存储模块中;
医疗健康数据管理服务器基于经过处理的数据记录以及分析结果,对用户提交的医疗健康数据进行分析、评估和预警。
进一步的,所述进行清洗、转换、格式化、集成,具体为:对医疗健康数据包中的医疗健康数据识别并除去异常值、基于对象属性进行不一致数据修改、将医疗健康数据中的每个参数对应的参数值修改成标准格式、然后将每项参数对应的参数值和所有对象属性值填写到数据记录的相应参数项中;对医疗健康数据包进行过滤,具体为:当一个医疗健康数据包中出现异常和不一致的参数值数量超过过滤阈值时,则将所述医疗健康数据包删除,并确定该医疗健康数据包为无效数据包。
进一步的,对于队列长度QLi等于0的数据处理模块,将所述数据处理模块转入休眠状态;在新任务达到时,所述数据处理模块的QLi需要重新参与计算和调度。
进一步的,基于数据处理文件对数据记录进行处理;所述数据处理文件中包含数据处理指令,所述数据处理文件可以根据数据处理需求进行动态修改;数据处理模块在对数据记录进行处理前,读取所述数据处理文件,并按照数据处理文件中的数据处理指令对所述数据记录进行逐条处理;所述数据处理指令为参数值融合指令;参数值融合指令用于按照预设规则将数据记录中的多个参数值变换成一个参数值。
进一步的,在执行一条数据处理指令时,如果针对一条数据记录,基于预设规则进行参数值读取时,如果发生参数值缺失的个数大于缺失阈值,则跳过所述一条数据记录,直接对下一条数据记录进行处理。
进一步的,将所述数据记录保存在分析缓存中,具体为:所述分析缓存包括第一待分析缓存和第二待分析缓存;将所述数据记录保存在第一待分析缓存中,当第一待分析缓存中的数据记录条数达到条数阈值时,对所述第一待分析缓存中的数据记录进行数据分析,并启用第二待分析缓存保存所接收到的数据记录;当第二待分析缓存中的数据记录条数达到条数阈值时,对所述第二待分析缓存中的数据记录进行数据分析,从而实现第一待分析缓存和第二待分析缓存的轮流使用。
进一步的,对所述分析缓存中的数据记录进行数据分析,具体为:采用决策支持模型对所述分析缓存中的数据记录进行数据分析;所述决策支持模型包括商业智慧信息分析模型和/或神经网络数据挖掘模型,对数据记录进行多维分析和挖掘,趋势、预测分析和规划。
进一步的,医疗健康数据分析服务器还包括专用分析模块,用于基于专用分析模型对指定数据记录进行分析,具体的:专用分析模块在分析缓存中收集指定类型的数据记录,并将所述指定类型的数据记录保存在专用缓存中,当专用缓存中的数据记录达到所述专用分析模型指定的记录条数或收集时间到达所述专用分析模型指定的收集时间时,采用所述专用分析模型对所述专用缓存中的数据记录进行分析。
进一步的,分析结果保存在结果存储模块中,具体为:将当次的分析结果和指定时间范围内的历史分析结果进行融合后再保存在结果存储模块中;将当次的分析结果和指定时间范围内的历史分析结果进行融合,具体为:基于数据记录的采集时间、当次分析结果所基于的数据记录的记录条数和指定时间范围内的历史分析结果所基于的数据记录的记录条数,对当次的分析结果和指定时间范围内的历史分析结果进行重新计算后,得到新的分析结果作为融合分析结果。
进一步的,所述基于大数据的医疗健康数据管理系统还包括数据应用服务器,数据应用服务器包括访问接口以提供实时查询服务。
本发明的有益效果包括:能够实时采集人员的健康状况,分布式的存储海量的医疗数据,基于大数据进行数据的分析和管理,从而快速的得到具有普适性、准确性的分析结果,用于临床决策,在数据分析和处理过程中采用动态平衡调度策略,能够保证分析和处理效率,在负载有限时减少功耗。还能够实现静态、动态心电、动态血压的集中诊断,以及心肺功能评估康复数据的统一管理,解决了基层医疗机构专业人才缺少、诊断水平薄弱、治疗不及时等问题。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明,其中的示意性实施例以及说明仅用来解释本发明,但并不作为对本发明的限定;
参见附图1,是本发明所应用的一种基于大数据的医疗健康数据管理系统,该系统能够提供数据分析、处理、远程诊断、评估、查询等服务;通过建立心血管疾病康复大数据的统一标准和规范,形成可被相关业务应用所利用的大数据源和交互机制,开发形成心血管疾病康复大数据应用,并且随着平台的推广,积累的心血管疾病康复大数据应用的实例将会越来越多,并最终形成不同方向的最佳应用样例;
所述基于大数据的医疗健康数据管理系统包括:
医疗机构、公共卫生机构通过心血管诊断评估康复终端设备,和/或家庭成员通过心肺功能评估康复的便携设备,采集静态和/或动态心电和/或血压数据、HIS、LIS、PACS、CIS数据、心肺功能数据等健康数据,将每次采集的医疗健康数据和医疗健康数据的对象属性一起封装为医疗健康数据包;医疗健康数据中包含多个参数及其对应的参数值;
将医疗健康数据包通过低功耗、广覆盖的NB-IOT物联网传输网络,上传到医疗健康数据处理服务器;远程心血管诊断评估康复终端设备设置在基层机构;心肺功能评估康复的便携设备为便携式设备,用户可以在家庭中使用;
NB-IOT物联网为基于蜂窝的窄带物联网(Narrow Band Internet of Things,NB-IoT),支持低功耗设备在广域网的蜂窝数据连接;所述NB-IOT基于蜂窝数据网络,使用License频段,可采取带内、保护带或独立载波等三种部署方式,能够与现有网络共存;
医疗健康数据处理服务器对接收到的医疗健康数据包进行数据处理,具体的:所述医疗健康数据处理服务器包括数据预处理模块、任务分配模块和一个或多个数据处理模块;
数据预处理模块将来自分布的、异构数据源的医疗健康数据包进行清洗、转换、格式化、集成,对医疗健康数据包进行过滤,然后发送给任务分配模块;
所述进行清洗、转换、格式化、集成,具体为:对医疗健康数据包中的健康数据识别并除去异常值、基于对象属性进行不一致数据修改、将医疗健康数据中的每个参数对应的参数值修改成标准格式、然后将每项参数对应的参数值和所有对象属性值填写到数据记录的相应参数项中;
所述数据记录以表格的形式保存在原始数据存储单元中,原始数据存储单元中保存所采集的所有经过预处理的医疗健康数据包;原始数据存储单元能够周期性的进行数据删除、或响应于管理员的指令进行部分数据的删除;一条数据记录中包含所有的对象属性和参数值;
例如:将参数肺活量的参数值添加到数据记录的肺活量参数项中;将用户名保存在对象属性项中;
例如:对于肺活量类型的肺活量数据为-1,此时,肺活量数据为异常值,需要去除并填充默认值;如对象为女性,健康数据却呈现男性特征,此时为不一致情况,需要进行修改;
对医疗健康数据包进行过滤,具体为:当一个医疗健康数据包中出现异常和不一致的参数值数量超过过滤阈值时,则将所述医疗健康数据包删除,并确定该医疗健康数据包为无效数据包;所述过滤阈值为预设值;
任务分配模块用于对一条或者多条数据记录创建处理任务,并将处理任务分配到数据处理模块;具体的:任务分配模块获取每个数据处理模块的平均处理速度ASi和队列长度QLi,基于公式(1)计算每个数据处理模块的调度值Si,和数据处理模块的实际平均调度值AVS,顺序获取
条数据记录,为所述
条数据记录创建数据处理任务,并将数据处理任务分配到调度值最小的数据处理模块中;
其中,Sj为调度值不等于MAXS的调度值Si,ACT_ALL为Sj的个数;MAXS为调度值的极大值;优选的:所述极大值为无穷大;QL_T1和QL_T1为预设值;QL_T1>QL_T1;BAL为调节参数,BAL为预设值;所述预设值由管理员设置或出场设置;
对于队列长度QLi等于0的数据处理模块,将所述数据处理模块转入休眠状态;但是在新任务达到时,所述数据处理模块的QLi需要重新参与计算和调度;
数据处理模块接收分配的数据处理任务,并对所述接收到的数据处理任务中的数据记录进行处理;处理完毕后,将数据处理结果保存在数据记录的相应参数项中,在数据处理任务中的所有数据记录均处理完毕后,将所述所有数据记录发送给健康数据分析服务器;
具体的:基于数据处理文件对数据记录进行处理;所述数据处理文件中包含数据处理指令,所述数据处理文件可以根据数据处理需求进行动态修改;数据处理模块在对数据记录进行处理前,读取所述数据处理文件,并按照数据处理文件中的数据处理指令对所述数据记录进行逐条处理;优选的:所述数据处理指令为参数值融合指令;
参数值融合指令用于按照预设规则将数据记录中的多个参数值变换成一个参数值;通过这样的方式来消减数据块,减少数据分析时要考虑的特征数;从而实现对数据上卷下钻,满足不同粒度的分析挖掘需求,为数据深度分析挖掘和可视化展示奠定基础;
所述预设规则包括从数据记录中选择一项或者多项参数值,并基于预设的规则将所述一项或者多项参数值变化为一个参数值;
优选的:在执行一条数据处理指令时,如果针对一条数据记录,基于预设规则进行参数值读取时,如果发生参数值缺失的个数大于缺失阈值,则跳过所述一条数据记录,直接对下一条数据记录进行处理;优选的:所述缺失阈值为1;
优选的:所述数据处理模块为基于云计算的分布式处理模块;
医疗健康数据分析服务器接收数据记录,并将所述数据记录保存在分析缓存中,当分析缓存中的数据记录条数达到条数阈值时,对所述分析缓存中的数据记录进行数据分析,并将分析结果保存在结果存储模块中;
将所述数据记录保存在分析缓存中,具体为:所述分析缓存包括第一待分析缓存和第二待分析缓存;将所述数据记录保存在第一待分析缓存中,当第一待分析缓存中的数据记录条数达到条数阈值时,对所述第一待分析缓存中的数据记录进行数据分析,并启用第二待分析缓存保存所接收到的数据记录;当第二待分析缓存中的数据记录条数达到条数阈值时,对所述第二待分析缓存中的数据记录进行数据分析,从而实现第一待分析缓存和第二待分析缓存的轮流使用;其中;所述条数阈值为预设值;
通过第一待分析缓存和第二待分析缓存的交替使用,减少了一次数据拷贝过程,从而提高了数据分析效率;
考虑到数据记录的数量较少时无法形成有效的分析结果,而数据记录的数量过多时,会降低分析效率和速度,也无法呈现出数据的阶段性特点,因此,条数阈值对每次进行分析的数据记录数量进行限定;所述条数阈值可以基于分析方法和/或健康数据分析服务器的计算能力进行动态修改;
对所述分析缓存中的数据记录进行数据分析,具体为:采用决策支持模型对所述分析缓存中的数据记录进行数据分析;所述决策支持模型包括商业智慧信息分析模型和/或神经网络数据挖掘模型,对数据记录进行多维分析和挖掘,趋势、预测分析和规划,从而为各级政府部门的科学决策提供及时、准确、全面的信息支撑,同时提高对深化医疗卫生体制改革中各项任务实施情况的动态监测和宏观的调控能力;
医疗健康数据分析服务器还包括实时监管模块,用于对数据记录及其分析结果进行实时监管;从而改变以往人工统计报表和人工填报评估系统来监管和考核的方式,帮助政府卫生主管部门更科学地、更有效地实施规划、执行、监管等管理职能,对医疗机构进行实时和动态的监管;
医疗健康数据分析服务器还包括专用分析模块,用于基于专用分析模型对指定数据记录进行分析,具体的:专用分析模块在分析缓存中收集指定类型的数据记录,并将所述指定类型的数据记录保存在专用缓存中,当专用缓存中的数据记录达到所述专用分析模型指定的记录条数或收集时间到达所述专用分析模型指定的收集时间时,采用所述专用分析模型对所述专用缓存中的数据记录进行分析;所述专用分析模型由专用需求的医疗科研和其他机构提供,通过这样的方式为医疗科研和其他机构提供医疗卫生方面的专项数据分析、挖掘和信息共享服务;
所述专用分析模块还用于进行医疗数据统计和医疗数据挖掘与预测;所述医疗数据统计为统计历年慢性病比例变化和各地区心脑血管疾病分布等;所述医疗数据挖掘与预测为寻找亚健康状况与职业、性别、年龄等因素的联系和预测下一个月各类药品的需求等;
优选的:将分析结果保存在结果存储模块中,具体为:将当次的分析结果和指定时间范围内的历史分析结果进行融合后再保存在结果存储模块中;
将当次的分析结果和指定时间范围内的历史分析结果进行融合,具体为:基于数据记录的采集时间、当次分析结果所基于的数据记录的记录条数和指定时间范围内的历史分析结果所基于的数据记录的记录条数,对当次的分析结果和指定时间范围内的历史分析结果进行重新计算后,得到新的分析结果作为融合分析结果;
例如:当次的分析结果为A,基于1000条数据记录,指定时间范围内的历史分析结果为B,基于10000条数据记录,则1000次的结果A和10000次的结果B均重新代入决策支持模型或专用分析模型以得到新的分析结果;
医疗健康数据分析服务器还包括自动报表生成模块,用于对分析结果进行数据统计,并提供数据统计分析结果的快速查询、以可视化表现形式呈现出来;
可视化表现形式包括表,Dashborad,仪表盘,驾驶舱,地图GIS;
自动报表生成模块还用于定制特定疾病的诊断报告、医院运营报告、医保运行报告、药品成本效益报告等,将报告提供给用户直观展示;
自动报表生成模块还用于提供相似联接查询,所述相似联接查询为根据参数值在数据记录中进行查找,寻找相似的数据记录以及针对所述数据记录的分析结果,并将所述相似的数据记录和分析结果呈现给用户;优选的:所述参数值为CT成像图片,通过CT成像图片的查找,能够寻找相似的病例与诊断,从而找到骨髓移植匹配;
医疗健康数据管理服务器基于经过处理的数据记录以及分析结果,对用户提交的医疗健康数据进行分析、评估和预警;具体的:医疗健康数据管理服务器包括心血管疾病远程诊断康复模块,用于将用户提交的医疗健康数据和经过处理的数据记录以及分析结果进行比较,从而对用户提交的医疗健康数据进行评估,并将评估结果发送给心血管疾病急重症预警模块;所述用户提交的医疗健康数据为静态、动态心电、动态血压等;通过这样的方式,解决了基层医疗机构专业人才缺少、诊断水平薄弱、治疗不及时等问题;还能实现对心血管疾病患者进行连续的的远程评估康复治疗,对全国心血管疾病医学的发展都具有重要意义;
医疗健康数据管理服务器还包括心血管疾病急重症预警模块,用于接收心血管疾病远程诊断康复模块发送的评估结果,当评估结果中包含进入预警范围内的评估值时,将评估结果发送给用户;所述用户为个人或者专家;使用一体化设备采集人体生理参数(心电、血压、血氧、脉率等)和个人行为状态,采集的生理参数和行为状态实时上传到医疗健康管理服务器,个人和专家可以通过平台对出院的病人进行跟踪,了解康复情况和对病情恶化的预防,由于处理和分析结果可以为个人、专家、医疗机构提供不同权限的共享,使得多医院多专家的在线远程对家庭病人进行交流会诊,在病人康复阶段进行提供指导;
数据应用服务器包括访问接口以提供实时查询服务,具体的提供与时间有关的查询,如检索一对象某一时间段内的全部信息;提供与空间有关的查询,例如:检索一对象在某个区域内的全部信息;提供与特定属性有关的查询,例如检索一对象的血压变化历史和用药记录;提供综合查询,例如:检索一对象在某段时间和某个区域内的某项生命体征数据;所述实时查询服务基于原始数据存储单元进行查询;
所述访问接口为Search API、Pig、Hive QL以及专为用户设计的SJDBC(类JDBC)和UDF(用户自定义函数)接口;
本发明的一种基于大数据的医疗健康数据管理系统,能够实时采集人员的健康状况,分布式的存储海量的医疗数据,基于大数据进行数据的分析和管理,从而快速的得到具有普适性、准确性的分析结果,用于临床决策,在数据分析和处理过程中采用动态平衡调度策略,能够保证分析和处理效率,在负载有限时减少功耗。还能够实现静态、动态心电、动态血压的集中诊断,以及心肺功能评估康复数据的统一管理,解决了基层医疗机构专业人才缺少、诊断水平薄弱、治疗不及时等问题。
以上所述仅是本发明的较佳实施方式,故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰,均包括于本发明专利申请范围内。