CN103793611B - 医学信息的可视化方法和装置 - Google Patents

Abstract

本发明涉及一种医学信息的可视化方法和装置，通过3D制图软件加载人体模型，以及通过采集医疗信息系统储存的病人信息转换成结构化医学信息；最后将结构化信息加载到所述人体模型上。本发明在接收用户指令后；可根据用户指令选择显示器官、亚器官和/或对应医学信息，本发明实现病人多种类型数字医疗信息一体化集成表达与可视化显示。可与各种医疗应用平台系统进行集成。本发明充分地利用了各医疗数据库中的病人临床医疗数据、图像和医疗检查报告等资料，通过可视化功能可提高非医疗人员对病人健康状况的可辨识度，可提高用户使用界面的智能化与个性化，可提高病人医学信息可用性、延长其价值链与使用效率。

Description

医学信息的可视化方法和装置

[技术领域]

本发明涉及一种信息处理方法，具体涉及一种医学信息的可视化方法。

[背景技术]

通常情况下，病人会在不同的时间，在不同的医院，做过不同的医疗检查。病人的医疗信息（如影像、报告、电子病历等）随着医学信息化和数字成像技术的进步，数据内容日益复杂化，多样化。病人每次就诊、体检都会在医院的信息系统中保存有临床医疗信息（如检查报告、检查图像、检验报告等信息）。病人临床医疗信息按照其数据类型被保存在不同的医学信息数据库中，零散而又琐碎。即便放在同一个数据库中，由于类型各异和数据繁杂，对其进行检索和显示仍为当前医疗信息技术应用的难点。

目前广泛应用在医学信息系统中的索引技术主要还是基于关键字（key Words）数据类型的数据库搜索。当用户需要了解一个有多项医疗记录的病人的历史信息时，就必须在各个医疗信息系统(如PACS、LIS等)中分别进行查询，或输入不同的查询条件进行查询。

每个病人包含多项医疗记录，每个医疗记录包含多个子条目信息（如图像信息、化验信息等），用户必须得知病人序号、检查序号、检查类型、图像ID等关键信息才能从数据库中分别查找到对应的检查报告信息和图像。用户想要了解病人的历史医疗健康状况，获取病人的医疗特征信息（如检查时间，病理特点，病灶变化，病灶位置等等），还需要对该病人的医疗信息（电子病历）记录逐一进行查看。病人医疗次数越多，用户查看病人历史医疗信息的工作量越大，耗时越久，难度越大。

除此之外，非医疗专业用户在获取自己的医疗信息（电子病历）时，存在着知识代沟的问题。医疗信息存在着大量的医学专用术语和对病情或医疗结果、特征等的专业描述。对于非医疗专业用户来说，内容难以理解，过于抽象，阅读理解难度大，对病历内容的可辨识度很低。病人想要了解自己的历史检查信息，看懂自己的医疗信息（电子病历），需要医生的专业的解释，否则很难看懂或理解其中的医疗表述。

[发明内容]

本发明的目的在于针对当前医疗信息系统信息综合功能较为简单、医疗信息共享性效率低、医疗数据可辨识度低等缺点，提出一种数字病人可视化显示的实现方法。

一种病人信息可视化方法，包括：

通过3D制图软件加载人体模型的加载步骤；

医疗信息系统储存病人信息的储存步骤；

还包括：

采集病人信息的采集步骤；

将病人信息转换成结构化医学信息的步骤；

建立病人信息与相应结构化医学信息之间映射关系的步骤；

根据结构化医学信息的结构相应分割人体模型至器官和亚器官的分割步骤；

根据临床医学术语标准定义的人体器官组织结构构建分层次的器官和亚器官之间树状拓扑结构的步骤；

在所述的结构框架中建立标准器官组织节点、临床词汇节点以及相应的逻辑关系节点和属性节点；

将转换的结构化医学信息分类放在对应层次的器官组织节点下的属性节点中；

将结构化医学信息转化为所述人体模型的多维显示参数信息；

接收用户指令的接收步骤；

根据用户指令选择显示器官、亚器官和/或对应医学信息的显示步骤。

上述方法还具有如下优化方案：

显示所述的器官或亚器官后，改变该器官或亚器官显示状态和/或显示效果的步骤。

所述的显示步骤采用以下的一种或多种：

a.根据结构化医学信息中的时间顺序显示医学信息时间轴的时间轴显示步骤；

b.根据树状拓扑结构分层显示医学信息的分层显示步骤；

c.根据具体器官或亚器官节点显示对应病人信息的步骤；

d.对人体模型进行旋转、缩放、移动、部位选取，点击选取某个部位进行放大显示。

所述的采集步骤还包括采集阳性病灶信息，忽略阴性病灶信息的步骤。

所述的显示步骤为按照时间顺序显示病灶变化趋势的步骤。

所述的医疗信息系统为PACS、CIS、RIS、HIS、LIS、EMR中的一种或多种。

还包括将采集信息独立储存的储存步骤。

本发明还包括一种病人信息可视化装置，包括：

储存病人信息的对象存储区13；

加载人体模型、分割人体模型至器官和亚器官、根据临床医学术语标准定义的人体器官组织结构构建分层次的器官和亚器官之间树状拓扑结构、在所述的结构框架中建立标准器官组织节点、临床词汇节点以及相应的逻辑关系节点和属性节点，以及将转换的结构化医学信息分类放在对应层次的器官组织节点下的属性节点中的模型加载模块16；

用于接收来自外界各种医疗平台系统的响应的指令监听模块11；

根据监听模块11监听到的指令从对象存储区13采集病人信息的采集模块12；

将病人信息转换成结构化医学信息、建立病人信息与相应结构化医学信息之间映射关系的信息表达对象解析与分析模块14；

将结构化医学信息转化为所述人体模型的多维显示参数信息的3D模型参数设定模块15；

根据用户指令选择显示器官、亚器官和/或对应医学信息的显示的模型交互模块18。

本发明的效果和优点如下：

实现多种信息系统（如PACS/RIS/EMR/CIS/LIS/HIS等）的信息集成与融合处理功能。用户只需得知病人ID就可以在三维人体模型中快速、直观地获得病人全面的重要和关键医疗信息内容。这比起传统的单项数据库搜索查询（不同检查、不同数据类型需要分开单独搜索，并需要提供对应的医疗序列号等），来得方便快捷；

解决用户的知识代沟问题。数字病人能将病人的历史医疗信息通过三维人体模型的状态变化显示出来，突出了用户最想知道的部分信息，使得用户不用读取与分析医疗报告就可以直观地识别出病人的历史健康状态，无须（或较少地）专业医疗人士的帮助，大大提高了医疗信息的可辨识度；

实现数字病人的动态智能显示。模型可突出显示病灶变化，时间轴能突出显示病情的演化过程，这些都可助于医生快速、深入地理解病情变化，给出病人更佳的医疗方案。

有效延长了医疗信息的价值链。例如将医疗信息的使用者从医生延长到病人，使病人对医疗信息内容的含义认知度得到提高，也可应用于病人的体检跟踪，健康状况监控等等。

能按照用户的需求进行个别器官信息的单独显示或组合显示。可只获得用户想要的病人局部信息，保持其余病人信息的私密性。减少信息量的传递，只传递有效信息，过滤掉多余的信息可以减少冗余，加快传输效率。

[附图说明]

图1为本发明实施例的一种数字病人可视化显示组件（模块系统）结构框架示意图。

图2为本发明实施例的一种数字病人可视化显示的工作流程图。

图3为本发明实施例的一种数字病人可视化显示的三维人体模型效果图。

[具体实施方式]

下面结合附图给出本发明的一个较完整实施例，进一步对本发明作详细阐述，使得更易于了解本发明的结构特征和功能特点。下述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。

实施例1

步骤一、通过3D制图软件加载3dbody人体模型的加载步骤；

使用Autodesk的3DS.MAX软件加载3dbody公司开发的数字人体模型为原型，制作出全新的三维人体模型，其中包含的人体器官个数繁多，结构复杂，并附带大量纹理图片以使其生动化，加强可视化效果。其中每个器官都可以单独进行渲染和操作，非常适合用于病人医疗信息的标注和显示。

步骤二、医疗信息系统储存病人信息的储存步骤；

各种医疗信息系统中病人各类不同时期医疗诊断和检查记录的内容信息（其中存在结构化数据、非结构化数据、半结构化数据）。通过构建一种统一、完整的结构化信息对象来对病人各种关键和概要医疗信息内容进行全方位描述—简称“数字病人”，包括医疗报告文字描述关键信息、医疗图像关键信息、临床检验信息、病灶检测内容、解剖学位置信息、病理报告关键信息、病灶等形态或功能特征值，及其它们的产生时间信息等。实现了对病人多个类型数据信息的准确挖掘和保存，实现对病人数字信息分类存储与分层次信息结构化处理。

医疗信息系统为诸如PACS、CIS、RIS、HIS、LIS、EMR类的符合DICOM标准的信息系统，医疗信息系统的数据库中采集到的病人信息为全面的重要或关键医疗信息内容，包括病人的唯一标示符（Patient ID）、姓名、性别、出生日期、studyUID（检查唯一标示符）、每一次的检查时间、检查类型、检查部位、orderNo（预约号）、图像（或存储引用）、检查报告内容，报告中内容（content）部分、结论（conclusion）部分、某次检查的图像缩略图等等。

步骤三、采集的病人信息独立储存的储存步骤；

集成了我们从报告（或图像）内挖掘出的包含大量信息量的信息，有助于直观简洁地反映出病人身体病灶特征的信息。比如对医生和病人来说，阳性病灶的变化和位置等信息是至关重要的，而呈现阴性状态的部位则是可以被忽略的。内容包括阳性病灶特征、病灶位置信息、病灶位置信息之间存在逻辑关联（比如病灶位置的转移、病灶的变化等等）、病灶描述信息（如相应的图像中有病灶ROI标注，可对ROI中的图像进行特征提取和计算）、病灶面积、密度（或其它特征）等量值、病灶变化的规律（与检查时间点结合）、报告中的临床术语及其语义关系等等。

步骤四、将病人信息转换成结构化（如xml格式等）医学信息的步骤；

数字病人表达对象能以器官或组织为独立的个体，单独存储，或者合并存储。可以根据器官组织的层次和类别，分类存储器官子对象。例如同一个组织或同一个人体系统的（不同时间产生的）器官对象归为一类，可存储成一个器官子对象（表达器官医疗信息随时间的变化）。大器官下的各层次亚器官组织都可以生成对应层次的器官子对象进行存储。对象的命名方式是根据器官的编号命名的。器官的编号完全隶属于器官的从属关系，并且具有唯一性，可用于识别器官在人体系统内的层次以及与其它器官子对象之间的从属关系。对象可根据用户需求拆开成不同的亚器官对象文件分开单独传输，也可以整合成一个完整的数字病人器官对象作为一个整体传输。这种方式能让病人信息的传递更具有灵活性。

步骤五、建立病人信息与相应结构化医学信息之间映射关系的步骤；

步骤六、根据结构化医学信息的结构相应分割人体模型至器官和亚器官的分割步骤。

我们针对信息可视化表达的需求，完成三维人体模型的建立与分割，实现模型从粗粒度到精细粒度的改善。我们根据与数字病人信息表达对象一致的医学信息结构标准划分三维人体模型，并且根据临床医疗信息所涉及的范围不断扩展细分程度。模型的器官结构细分程度要可以覆盖全面医疗临床信息的人体组织器官结构范围。通俗地说，就是在模型上可以找到任何医疗临床报告中所提及的人体部位和器官。目前模型被细分到800多个模型器官对象。

三维（3D）人体模型也可以根据各类临床医学信息结构标准划分，并且根据临床医疗信息所涉及的范围不断扩展细分程度。模型的器官结构细分程度要可以覆盖全面医疗临床信息的人体组织器官结构范围。通俗地说，就是在模型上可以找到任何医疗临床报告中所提及的人体部位和器官。由于模型的分割规则和数字病人信息表达对象中框架的构建规则一致，所以在信息传递时能够做到准确无误，即数字病人表达对象中每个器官节点下的病人数字信息，都能映射到3D模型相对应的器官上；

步骤七、根据临床医学术语标准定义的人体器官组织结构构建分层次的器官和亚器官之间树状拓扑结构的步骤；

对象的框架按照由医学标准定义的人体器官组织结构分层次组织架构。对象里的器官术语以及对应的编号是按照组织和器官之间的从属关系成树状拓扑结构分层次分布的。对象还保存了数字病人信息中部位之间存在的特定的各类逻辑关系、以及临床术语存在的特定语义关系等等。实现病人多种类型的数字信息依据“数字人”理念的一体化集成存储与表达。

步骤八、在所述的结构框架中建立标准器官组织节点、临床词汇节点以及相应的逻辑关系节点和属性节点

步骤九、将转换的结构化医学信息分类放在对应层次的器官组织节点下的属性节点中；

步骤十、将结构化医学信息转化为所述人体模型的多维显示参数信息

将数字病人信息表达对象里已经结构化的数字医疗（重要和关键特征）信息转化为模型的多维的显示参数信息。目前开发中包含了历史医疗诊治时间参数、病灶时间参数、人体系统分层参数、三维人体模型显示参数（包括位置坐标参数、可见性参数、透明度参数、颜色参数、闪烁频率参数等等）、图像引用参数（如图像存储系统名称、图像唯一识别号、图像调用接口参数等）、报告文本参数、病灶特征或演化图表参数等等。根据结构化信息表达对象里各器官节点中的数字医疗信息，计算和设定相对应的显示参数信息，并投射在三维人体模型相对应的器官上进行可视化显示控制。各个显示参数之间都有着关联，互相影响着形成了复杂多变的数字病人人体显示复合系统。这些人体特征参数均能在模型显示组件里得到很好的显示控制与可视化表达。

步骤十一、接收用户指令的接收步骤；

步骤十二、根据用户指令显示器官、亚器官和/或对应医学信息的显示步骤

利用一种特定的三维人体模型，作为一种数字病人的信息载体，负责加载数字病人的结构化信息使其实例化。将病人的人体特征参数转化成视觉上的显示效果。三维人体模型的各个器官部位根据其对应的特征显示控制参数，改变着本身的显示状态（如颜色、透明度、可见性等等）。其视觉上达成的显示效果主要是能通过显示状态的不同，以及显示效果的动态变化，很直观地分辨出医疗器官部位、阳性病灶部位以及检查类型。显示组件可通过构建各种软件组件进行实现，方便在各种平台、网络、系统上应用与扩展。显示组件还包括了以下交互功能：

a.根据结构化医学信息中的时间顺序显示医学信息时间轴的时间轴显示步骤；用户可以根据病人的历史医疗诊治时间顺序，查看病人各段时间内某器官病灶医疗诊治变化状况。

b.根据树状拓扑结构分层显示医学信息的分层显示步骤；用户可以由外到内对人体器官进行分系统分层查看（如内分泌系统，消化系统，呼吸系统，骨骼软组织系统等等）

c.根据具体器官或亚器官节点显示对应病人信息的步骤，点击检查部位，显示功能会将该部位所做的所有检查信息以列表的形式展开，将检查时间、检查类型、检查部位、检查报告结论以及检查图像的缩略图等以列表形式显示。

d.对人体模型进行旋转、缩放、移动、部位选取，点击选取某个部位进行放大显示。

e.按照时间顺序显示病灶变化趋势的步骤。提供图表来表示病灶面积（或其它特征量参数）的历史变化，以供医生参考。

显示所述的器官或亚器官后，改变该器官或亚器官显示状态和/或显示效果的步骤。

显示组件系统包含了多个对外API接口。方便嵌入网页或者医疗信息系统。可根据用户需要建立客户端，利用接口对数字病人的信息进行显示。

本发明所提及的数字病人信息表达对象，可对不同种类型的医疗系统进行病人数字医疗信息采集，使用面向人体器官解剖结构和临床术语分类的形式对数字医疗信息进行基于内容的挖掘处理。该对象可提供综合病人数字信息的功能，可作为索引器应用于各类检索系统，为众多的医疗信息系统进行基于内容的检索。能避免多次不同数据库的重复搜索，一次性提取所有信息以方便病人信息的全面检索。其他的工作站或者医疗信息网络平台系统可以通过网络接口服务（如web service等）以病人ID为检索的指令，调用存储的数字病人表达对象。

数字病人可视化显示，实现了各种工作平台上的数字病人医疗信息的可视化显示。显示功能模块能将数字病人表达对象按照用户的需求合并或分开使用，只调用对应的器官子对象。并且三维人体模型的显示也能按照用户的需求，将模型根据器官子对象的信息分层分类，进行器官的单独显示或组合显示。

根据上述方法可以通过设定如下模块来实现：

指令监听模块11用于接收来自外界各种医疗平台系统的响应；

信息表达对象提取模块12根据模块11监听到的指令，从数字病人信息表达对象存储区13提取数字病人表达对象（该对象由数字病人表达对象生成组件生成，生成组件是各种医疗信息系统与对象存储区的中间件）；

信息表达对象解析与分析模块14负责对病人的数字病人表达对象的内容进行分析，解析出其中病人的重要和关键数字医疗信息；

模型加载模块16负责在程序启动时加载3D模型各级参数初始状态信息；

3D模型参数设定模块15负责根据病人的数字医疗信息设定不同的3D模型状态显示参数值，以及保存病人的信息参数。

模型渲染显示模块17用不同的三维显示状态参数对模型的各级对象进行渲染并显示；

模型交互模块18提供模型的各种交互功能接口，根据用户鼠标的点击获取用户所选感兴趣部位的坐标，锁定部位对应的病人信息，根据用户对时间轴、系统轴的节点选取，锁定某一时间或某一组织部位对应的病人信息等等；

数据信息显示模块19负责显示对应的病人信息，提供病人历史医疗信息的动态显示，以及医疗特征信息（检查图像特征/检查报告/检查信息/病灶变化趋势图表等）的显示。

用户在查询流程如下：

步骤100，程序启动；

步骤101，3D模型加载模块16加载人体模型信息，用于初始界面的显示；

步骤102，指令监听模块11监听来自外界的数字病人显示请求，若接收到显示数字病人的请求，则通过表达对象读取模块12向数字病人表达对象存储区13发送PID指令提出调用数字病人信息表达对象的请求；

步骤103，等待；步骤104，表达对象读取模块12从数字病人表达对象存储区13提取数字病人信息表达对象，并返回是否调用成功的确认信息；

步骤105，判断是否成功调用到数字病人的信息表达对象，如果是则执行步骤106，否则执行步骤118；

步骤106，表达对象读取模块12接着提取信息对象内病人相应的数字医疗信息；

步骤107，表达对象解析与分析模块14对表达对象内的病人数字医疗信息进行分析与各类型数据的解析；

步骤108，3D模型参数设定模块15根据分析出的病人的各项信息类型对模型的显示参数进行设定；

步骤109，模型渲染显示模块17根据设定好的显示参数对人体模型的各级对象完成渲染工作进行显示；

步骤110，模型交互模块18根据用户的操作完成各种交互功能。判断用户是否要求对不同时期的医疗关键信息在时间轴上进行显示，如果是则执行步骤111，否则继续步骤112；

步骤111，模型的显示状态随着时间轴的变化而变化，显示病人在不同时间段内身体的不同医疗诊治状况（如器官、亚器官等病情或病灶演化）；

步骤112，判断用户是否要求对不同器官的医疗关键信息在器官系统轴上进行显示，如果是则执行步骤113，否则继续步骤114；

步骤113，模型的显示状态随着人体组织器官系统轴的变化而变化，显示病人的身体内不同的组织系统各自的医疗状况；

步骤114，判断用户是否点击模型中的器官（或亚器官）部位，若用户无操作，则继续步骤118；如果用户点击了模型中的部位，则通过点击处的坐标判断该位置是否存在器官（或亚器官）部位，如果是，则根据点击的部位信息提取对应的病人的医疗关键信息，并且执行步骤115、步骤116、步骤117，否则继续步骤118；

步骤115，模型会放大点击部位，便于用户详细查看；

步骤116，数据信息显示模块19以医疗图像（或其它医疗证据）以及报告列表的形式将提取到的该检查部位对应的病人检查信息显示出来；

步骤117，如果该部位存在病灶变化，数据信息显示模块19会将病灶变化（已存储在该人体器官或亚器官信息对象节点属性之中）趋势绘制成图表进行显示；步骤118，结束。

数字病人的可视化显示功能模块可构建成为多种组件（如Windows ActiveXControl、Java Applet等），可与别的应用平台、网络、系统相集成使用。该种组件包含了多个对外API接口，提供了多种用户交互功能，方便嵌入各种医疗信息平台、网页或者系统。各平台可根据用户需要建立客户端，利用接口对数字病人进行各种操作与信息显示，运行各种应用以及进行功能的扩展。

Claims (8)

1.一种病人信息可视化方法，包括：

通过3D制图软件加载人体模型的加载步骤；

医疗信息系统储存病人信息的储存步骤；

其特征在于，还包括：

采集病人信息的采集步骤；

将病人信息转换成结构化医学信息的步骤，所述的结构化医学信息包括医疗报告文字描述关键信息、医疗图像关键信息、临床检验信息、病灶检测内容、解剖学位置信息、病理报告关键信息、病灶的形态或功能特征值，及其它们的产生时间信息；

建立病人信息与相应结构化医学信息之间映射关系的步骤；

根据结构化医学信息的结构相应分割人体模型至器官和亚器官的分割步骤；

根据临床医学术语标准定义的人体器官组织结构构建分层次的器官和亚器官之间树状拓扑结构的步骤；

在所述的结构框架中建立标准器官组织节点、临床词汇节点以及相应的逻辑关系节点和属性节点；

将转换的结构化医学信息分类放在对应层次的器官组织节点下的属性节点中；

将结构化医学信息转化为所述人体模型的多维显示参数信息；

接收用户指令的接收步骤；

根据用户指令选择显示器官、亚器官和/或对应医学信息的显示步骤。

2.如权利要求1所述的病人信息可视化方法，其特征在于还包括：显示所述的器官或亚器官后，改变该器官或亚器官显示状态和/或显示效果的步骤。

3.如权利要求1所述的病人信息可视化方法，其特征在于所述的显示步骤采用以下的一种或多种：

a.根据结构化医学信息中的时间顺序显示医学信息时间轴的时间轴显示步骤；

b.根据树状拓扑结构分层显示医学信息的分层显示步骤；

c.根据具体器官或亚器官节点显示对应病人信息的步骤；

d.对人体模型进行旋转、缩放、移动、部位选取，点击选取某个部位进行放大显示。

4.如权利要求1所述的病人信息可视化方法，其特征在于所述的采集步骤还包括采集阳性病灶信息，忽略阴性病灶信息的步骤。

5.如权利要求4所述的病人信息可视化方法，其特征在于所述的显示步骤为按照时间顺序显示病灶变化趋势的步骤。

6.如权利要求1所述的病人信息可视化方法，其特征在于所述的医疗信息系统为PACS、CIS、RIS、HIS、LIS、EMR中的一种或多种。

7.如权利要求1所述的病人信息可视化方法，其特征在于还包括将采集信息独立储存的储存步骤。

8.一种病人信息可视化装置，包括：

储存病人信息的对象存储区(13)；

其特征在于，还包括：

加载人体模型、分割人体模型至器官和亚器官、根据临床医学术语标准定义的人体器官组织结构构建分层次的器官和亚器官之间树状拓扑结构、在所述的结构框架中建立标准器官组织节点、临床词汇节点以及相应的逻辑关系节点和属性节点，以及将转换的结构化医学信息分类放在对应层次的器官组织节点下的属性节点中的模型加载模块(16)；

用于接收来自外界各种医疗平台系统的响应的指令监听模块(11)；

根据监听模块(11)监听到的指令从对象存储区(13)采集病人信息的采集模块(12)；

将病人信息转换成结构化医学信息、建立病人信息与相应结构化医学信息之间映射关系的信息表达对象解析与分析模块(14)，所述的结构化医学信息包括医疗报告文字描述关键信息、医疗图像关键信息、临床检验信息、病灶检测内容、解剖学位置信息、病理报告关键信息、病灶的形态或功能特征值，及其它们的产生时间信息；

将结构化医学信息转化为所述人体模型的多维显示参数信息的3D模型参数设定模块(15)；

根据用户指令选择显示器官、亚器官和/或对应医学信息的显示的模型交互模块(18)。