CN110300547A - 医疗信息虚拟现实服务器系统，医疗信息虚拟现实程序，医疗信息虚拟现实系统，医疗信息虚拟现实用数据的创建方法，以及医疗信息虚拟现实用数据 - Google Patents

Abstract

提供一种医疗信息虚拟现实提供的服务器系统，使在虚拟现实空间中使用三维数据的用户间的沟通变得顺畅，共享者之间的数据相关的交流变得顺利，并且，也适用于作为数据的取得对象者的隐私保护或数据的处理变得简易，提高数据的活用性。虚拟现实服务器系统，包括：数据输入单元，用于输入医用图像数据；和片段分割单元，用于将医学图像数据分割为包括生体部位、植入物、医疗器械、标记器件或装着物在内的每个特征部位的片段；和三维数据转换单元，用于将医用图像数据转换成具有片段的三维多边形数据；和添加标记单元，用于对所述三维多边形数据或所述片段添加标记；和坐标关联单元，用于将三维多边形数据与任意的世界坐标位置进行关联；和数据输出单元，用于将存储在数据库中的所述三维多边形数据基于所添加的标记输出。

Description

医疗信息虚拟现实服务器系统，医疗信息虚拟现实程序，医疗 信息虚拟现实系统，医疗信息虚拟现实用数据的创建方法，以 及医疗信息虚拟现实用数据

技术领域

本发明涉及一种医用虚拟现实服务器和虚拟现实系统。

背景技术

通常为了进行疾病诊断，会经常利用CT(电子计算机断层扫描)或MRI(磁共振成像)进行检查。由于通过CT和MRI检查获得的影像中对医学有益的信息多数存在，因此许多医疗机构或医疗提供者之间共享这些信息，这对医学研究和教育是极其有益的。

但是，CT图像或MRI图像是以被称为DICOM(医学数字成像和通信)的规格进行管理的，由于那里记录着患者本人的个人信息，所以从隐私保护的角度来看，存在着无法轻易共享数据的问题。而且，通常在数据共享时，为了提高数据的利用性而进行标记，由于标记便于访问数据，因此对记录了个人信息的信息进行标记，从隐私保护的角度来看，有必要更加慎重。因此，到目前为止，还无法跨越医院门坎来实现共享患者的CT图像或MRI图像的信息。

另一方面，近年来，虚拟现实等相关技术进步显著，除了VR(虚拟现实:VirtualReality)以外，还有AR(增强现实:Augmented Reality)和MR(混合现实:Mixed Reality)的概念存在。

在此，已知的有一种利用虚拟现实可以对恢复诸如佛像等之类的木制美术品进行修复的佛像虚拟修复系统(参见专利文献1)。在该方法中，使用CT扫描仪获取并校正断层图像，并且将复数的二维多边形数据进行层叠构建来构建三维立体图像。然后，通过平滑等来减少数据量，然后转换为虚拟现实图像。

但是，上述专利文献1所公开的佛像的虚拟修复系统是将二维断层图像层叠起来构筑三维立体图像，然后进行平滑等，可是，例如没有设计诸如用于利于添加标记之类的设备，存在数据的可用性或便利性方面的问题。

另外，作为采用了虚拟现实的系统，已知的有在进行手术等时，通过使用三维数字放大镜合成显示人眼本来看不到的部分的图像来视觉支持的系统(参照专利文献2)。

这是基于二维医用图像数据创建的曲面多边形模型的产物。然而，在上述专利文献2中公开的三维数字放大镜系统中，若是将获得的三维数据只用于该患者，是没有问题的，但是如果要与多个用户共享数据，需要想办法提高三维图像的活用性，还未找到解决这个问题方法。

在当前情况下，将二维医用图像数据用作三维图像数据并且创建虚拟现实空间时，还没有发现用分段来提高数据的活用性。

【专利文献1】特开2002-216102号

【专利文献2】国际公布号WO2009/116663

发明内容

发明所要解决的技术问题

鉴于上述情况，本发明的目的是提供一种医疗信息虚拟现实服务器系统，使在虚拟现实空间中使用三维数据的用户间的沟通变得顺畅，共享者之间的数据相关的交流变得顺利，并且，也适用于作为数据的取得对象者的隐私保护或数据的处理变得简易，提高数据的活用性。

解决问题的方式

也就是说，，本发明的医疗信息虚拟现实服务器系统的虚拟现实系统中具备以下单元。

1)数据输入单元，用于输入医用图像数据；

2)片段分割单元，用于将医学图像数据分割为包括生体部位、植入物、医疗器械、标记器件或穿着物在内的每个特征部位的片段；

3)三维数据转换单元，用于将医用图像数据转换成具有片段的三维多边形数据；

4)添加标记单元，用于对所述三维多边形数据或所述片段添加标记；

5)坐标关联单元，用于将三维多边形数据与任意的世界坐标位置进行关联；

6)数据输出单元，用于将存储在数据库中的所述三维多边形数据基于所添加的标记输出。

在本发明的医疗信息虚拟现实服务器系统中，作为优选，医用图像数据至少是包含CT图像数据，MRI图像数据或超声波图像数据在内的二维医用图像数据，和特征部位的三维位置测量数据中的任意一个。在这里，二维医用图像数据中也包含单纯X射线图像数据等，作为三维位置测量数据，例如通过红外线扫描仪取得的数据也包含在内。

在本发明的医疗信息虚拟现实服务器系统中，虽然分割片段的生物部位不局限于人体部位，也有包括动物的部位的意思，但至少选自包含器官、血管、病灶、神经、膜和包含血液在内的液体中的任意一个。

此外，关于医疗器械，在拍摄医用图像时可与生体一起成像的医疗器械或医疗设备等都广泛包含在内，例如医疗器械有手术刀、钳子等，医疗设备有人工呼吸器等。

关于标记器件的示例，用于指示出手术切开位置的物品等；穿着物，例如有被验者穿的衣服等。

在本发明的医疗信息虚拟现实服务器系统中，设有片段分割单元，是用于将医学图像数据分割成片段的单元。在医用图像中，哪里是癌症或血管，通常都仅通过人手来判断的。然而，例如，将二维医用图像数据进行自动分割，可以更有效率的执行分割。因此，这里的片段分割单元包括自动或手动中的任意一种。

此外，通过设置用于将三维多边形数据与任意的世界坐标位置相关联的单元，在任何的位置上将三维多边形数据与世界坐标位置相关联，可以实现多个用户同时共享相同空间体验虚拟现实空间。

本发明的医疗信息虚拟现实服务器系统，优选地设有个人信息删除单元，用于删除捆绑在医用图像数据里的个人信息。

例如，在CT图像上，通常标记有诸如被验者姓名的个人信息。因此，如果直接跨越医疗机构的门坎直接共享CT图像的话，就存在个人隐私的保护问题。由此，提供了用于删除标记在二维医疗数据中的个人信息的个人信息删除单元，从而可以在多个医疗机构之间共享数据。

本发明的医疗信息虚拟现实服务器系统中的片段分割单元，当医用图像数据是二维医用图像数据时，作为优选，根据图像的浓淡差或三维位置坐标信息来进行片段分割。根据图像的浓淡差或三维位置坐标信息来进行片段分割的话，可以实现高精度的分割。

在本发明的医疗信息虚拟现实服务器系统中，作为优选，片段分割单元还包括用于校正三维多边形数据的片段，对经过校正后的片段进行分割。提供用于校正三维多边形数据的片段，对经过校正后的片段进行分割的单元，能够实现更高精度的分割。关于片段分割单元，包括自动或手动的中任意单元。

在本发明的医疗信息虚拟现实服务器系统中，根据已经被分割单元的医用图像数据，作为优选，片段分割单元还具有用于校正片段，对经过校正后的片段进行分割的单元。这里的分割，不仅包括通过计算机的图像处理执行自动分割，还包括由医疗提供者执行的手动分割，以实现高度准确的分割。

像这种，不仅设置了将二维医用图像数据或三维多边形数据分割成片段的单元，而且还设置用于评估和校正所分割的片段的单元，由此可将人体区分割成片段的结果作为程序来进行模式化学习，以提高自动分割的精度也是可以成为可能的。

由于三维多边形数据由三维坐标构成，所以可以对每个坐标添加标记，或者对被分割的成片段添加标记。此外，还可以将多个坐标或片段集中在一起进行标记。

这样，通过模式化的分割片段、添加标记并进行管理，使检索变容易，并且在提高用户的便利性的同时，在共享者的社区中的数据的发放和收集变得容易。

本发明的医疗信息虚拟现实服务器系统，作为优选，将三维多边形数据、和通过转换与三维多边形数据相同被验体相关的过去的医用图像数据获取的三维多边形数据之间的时间序列的变化作为一系列的时间序列数据，存储在所述数据库。

通过使用虚拟现实系统，对于时间的经过也能够进行数据化管理。也就是说，例如，即使是某特定的被验者的三维多边形数据，例如手术前一年或手术后一年，病理状态也会随着时间的推移而变化，将这种数据作为一系列数据，通过将它们存储在数据库中，可以比较疾病状态。

本发明的医疗信息虚拟现实服务器系统，作为优选，将随着三维多边形数据的时间变化相关的形状变化作为一系列的时间序列数据存储在数据库中。与三维多边形数据的时间序列变化不同,例如,通过将与诸如心跳之类的短时间变化相关的形状变化作为一系列时间序列数据存储在数据库中，可以更准确和逼真的创建虚拟现实空间。

本发明的医疗信息虚拟现实服务器系统，可以将使用三维多边形数据的虚拟现实空间中的用户的视野和动作作为一系列的时间序列数据，与三维多边形数据的时序数据相关联存储在数据库。在虚拟现实系统中，由于可以直观地将用户的视觉或动作传达给其他用户，因此对于至今为止难以用语言说明的技术熟练者的非语言的技巧，只要让其他用户体验系统，也能进行传授。

本发明的医疗信息虚拟现实服务器系统，将使用了三维多边形数据的虚拟现实空间中的伴随用户的变形动作的特征部位的三维形状的变化作为一系列的时间序列数据，与三维多边形数据的时间序列数据相关联并存储在数据库中。例如，类似内脏器官和骨头，根据生物部位，其硬度、弹力性等也不同，因此伴随着用户的分离动作或结合动作等变形动作，生体部位的三维形状也发生多种多样地变化。另外，对于进行训练或模拟，例如，可能需要诅如扭曲或切割某个内脏器官相应的片段的处理。通过将这种形状的变化作为一系列的时间序列数据，与三维多边形数据的时间序列数据相关联并存储在数据库中，可以进一步提高数据的活用性。

在本发明的医疗信息虚拟现实服务器系统中，作为优选，三维数据转换单元还具备多边形数据追加单元，可以将从变换的三维多边形数据的来源的医用图像数据以外生成的三维多边形数据追加或叠加到三维多边形数据中。例如，通过将拍摄医用图像时不存在的医疗器械追加到数据中并在虚拟现实空间中显示，使实际手术的模拟假设等变得更容易，提高用户的便利性。

另外，在三维数据转换单元中，作为优选，还设有用于删除转换后的三维多边形数据的一部分或全部的删除单元。

本发明的医疗信息虚拟现实程序，是使计算机发挥上述的医疗信息虚拟现实服务器系统中的数据输入单元、片段分割单元、三维数据转换单元、添加标签单元以及数据输出单元的功能的装置。

本发明的医疗信息虚拟现实系统，是将以交互方式向用户显示虚拟现实空间的客户终端、和通过医疗信息虚拟现实系统经由网络连接收发数据的系统，客户终端是将用户输入的标签信息发送到医疗信息虚拟现实系统，医疗信息虚拟现实系统根据接收到的标签信息，提取三维多边形数据并将其发送到客户终端，客户终端基于所接收的三维多边形数据构建并显示虚拟现实空间，将用户在虚拟现实空间中的动作和基于该动作的虚拟现实空间的变化记录并发送到医疗信息虚拟现实服务器系统。

在此，用户的动作不仅包括手的动作，还包括视点的移动。因此,不仅可以在客户终端上显示虚拟现实空间,将用户在虚拟现实空间的动作等记录下来并保存到服务器,例如,根据记录的数据为基础，年轻医生可以更容易学习资深医生的视点或动作。

此外，在本发明的医疗信息虚拟现实系统中，至少有一台移动终端通过有线或无线连接到客户终端，将在客户终端中创建的用于构建虚拟现实空间的数据发送到移动终端，在移动终端中，基于接收的数据显示虚拟现实空间，将在客户终端中显示的虚拟现实空间和在移动终端中显示的虚拟现实空间，显示为共享相同虚拟现实空间。

因为在虚拟现实系统中使用的计算机、头戴显示器、控制器等非常昂贵，所以目前为止多人数时的实时使用是很难的。通过在智能手机等上安装应用程序，将在虚拟现实空间获得的感觉可以与许多人共享，既便宜又简单。这里，移动终端指的是智能手机、平板终端、手机、移动计算机等。另外，客户终端不限于台式计算机等设备，例如也可将平板终端等移动终端作为客户终端使用。

具体方法是，分别在客户终端和移动终端上安装应用程序并通过网络连接。这里，作为网络，优选使用诸如蓝牙(注册商标)等无线通信技术，但也可以使用其他方法。

将通过有线或无线连接到客户终端的头戴式显示器和控制器的位置信息，从客户终端发送到移动终端，并且在移动终端也可以观看与在客户端终端处观看虚拟现实空间的用户相同的虚拟现实空间。通过同步控制器的位置信息，不仅在视野上，就连使用控制器的用户的手的动作他也能逼真的在移动终端上看到。也就是说，使用客户终端的用户和使用移动终端的用户可以在共享相同的虚拟现实空间的同时，识别与各个位置信息匹配的虚拟现实空间。

关于在客户终端或移动终端上显示虚拟现实空间，显示的是与各个位置信息匹配的虚拟现实空间，例如，当无法获取移动终端的位置信息时，即使是在移动终端中，显示与客户终端的位置信息匹配的虚拟现实空间相同的虚拟现实空间的结构也是可以的。

本发明的医疗信息虚拟现实数据的创建方法包括以下步骤。

1)片段分割的步骤，至少使用CT图像数据、MRI图像数据或超声图像数据的二维医学图像数据，和生体部位、植入物、医疗器械、标记器件或穿着物的特征部位的三维位置测量数据中的任意一种医用图像数据，对每个所述特征部位进行片段分割的步骤；

2)三维数据转换步骤，将医用图像数据转换为具有片段的三维多边形数据的步骤；

3)添加标记步骤，对三维多边形数据或片段添加标记的步骤；

4)坐标关联步骤，将三维多边形数据与任何世界坐标位置相关联的步骤。

此外，本发明的医疗信息虚拟现实用的数据的创建方法，作为优选，还包括个人信息删除步骤，用于删除捆绑在所述医用图像数据里的个人信息。

此外，本发明的医疗信息虚拟现实用数据的创建方法，作为优选，还包括时间序列数据关联步骤，将基于三维多边形数据生成的虚拟现实空间中用户的动作以及基于动作的虚拟现实空间的变化所记录的时间序列数据，与所述三维多边形数据的时间序列数据进行关联的步骤。

在此，所谓基于用户的动作的虚拟现实空间的变化，例如是用户在虚拟现实空间内操作了的虚拟手术刀的动作或由虚拟手术刀切断的内脏器官的形状变化，旨在广泛地包含用户动作以外的虚拟现实空间的变化。

另外，还可以设置别的步骤，将根据上述方法创建的数据，和通过转换相同被验者相关的过去医用图像数据而获得的三维多边形数据之间的时间序列的变化作为一系列时间序列数据，存储在数据库中的步骤。

本发明的医疗信息虚拟现实数据，是通过上述的任何一种医疗信息虚拟现实用数据的创建方法生成的。

发明效果

根据本发明的医疗信息虚拟现实服务器系统,在进行学习、训练或模拟时,可以将熟练的医疗提供者所拥有的非语言性的见解，更容易地传达给其他的医疗提供者或被验者、达到使沟通变得顺畅的效果。另外，由于三维多边形数据的数据量较轻，因此能够降低计算处理成本，并且还达到以低成本提供服务的效果。并且，由于被验者的个人信息没有存储在数据库中，因此也可以保护隐私。

附图说明

图1是实施例1的医疗信息虚拟现实服务器系统的功能框图1。

图2是实施例1的医疗信息虚拟现实服务器系统的功能框图2。

图3是实施例1的医疗信息虚拟现实服务器系统的系统结构图。

图4是实施例2的医疗信息虚拟现实服务器系统的功能框图。

图5是实施例2的医疗信息虚拟现实服务器系统的系统结构图。

图6是实施例3的医疗信息虚拟现实服务器系统的功能框图。

图7是实施例3的医疗信息虚拟现实服务器系统的系统结构图。

图8是将人体的上肢分割成片段的三维多边形数据的示意图，图(1)是主视图(2)是立体放大图。

图9是实施例4的医疗信息虚拟现实服务器系统的系统结构图。

图10是实施例4的医疗信息虚拟现实服务器系统的数据流程图。

图11是医用图像数据的分割流程图。

图12是医用图像数据的利用和收集流程图。

图13是实施例5的医疗信息虚拟现实用数据的创建流程图1。

图14是实施例5的医疗信息虚拟现实用数据的创建流程图2。

图15是实施例5的医疗信息虚拟现实用数据的创建流程图3。

具体实施方式

以下，参照附图对本发明的实施方式中的一例进行详细说明。此外，本发明的范围不限于以下的实施例和图示例，能够进行其他变更和变形的。

【实施例1】

图1及图2示意的是关于实施例1的医疗信息虚拟现实服务器系统的功能框图。如图1所示，本实施例的医疗信息虚拟现实服务器系统1，具备输入单元17、分割单元13、医用图像数据转换单元14、添加标记单元15、三维多边形数据管理单元16以及输出单元18。

医疗信息虚拟现实服务器系统1，无需由一台计算机构成，也可以是计算机或服务器通过有线或无线连接的构成。例如，如图2所示，可以是由计算机3d和服务器4的构成的配置。在此，计算机3d和服务器4都分别设有输入单元17和输出单元18，成为可通信的结构。此外，也可以是分别设置多个计算机或服务器的结构。

另外，虽然这里没有图示出，医疗信息虚拟现实服务器系统1设置有坐标关联单元，当用户使用三维多边形数据来体验虚拟现实空间时，可以将三维多边形数据与任意的世界坐标位置相关联。

另外，由于计算机及服务器中的输入单元以及输出单元在以下的实施例中都相同，因此省略了在实施例2以及之后的实施例中省略该描述。

图3示意的是实施例1的医疗信息虚拟现实服务器系统的系统结构图。如图3所示，医疗信息虚拟现实服务器系统1由计算机3d和服务器4构成，计算机3d与服务器4通过网络5连接。计算机3d从医用图像摄拍摄装置2输入医用图像数据，如图2所示，通过分割单元13，将三维多边形数据按照生体部位、医疗器具或每个医疗设备分割成段。通过设置在计算机3d中的医用图像数据转换单元14，将医用图像数据转换成三维多边形数据。通过添加标记单元15，对三维多边形数据或片段添加标记。如图3所示，添加标记后的三维多边形数据经由网络5发送到服务器4。在服务器4中，通过图2中所示的三维多边形数据管理单元16将三维多边形数据保存在数据库中，并基于标记输出三维多边形数据。

如图3所示，根据用户的请求输出三维多边形数据。这里的用户指的是医疗机构8a、教育机构8b和保健机构8c。

另外，虽然这里作为例子示意的是医疗机构、教育机构或者保健机构，但是作为共享对象的用户不限于此，其他营利企业或个人等的用户也适用。此外，因为是通过网络5共享该系统的，所以可以添加多个医疗机构，研究和教育机构等。

【实施例2】

图4示意的是实施例2的医疗信息虚拟现实服务器系统的功能框图。

如图4所示，本实施例的医疗信息虚拟现实服务器系统1a，由医用图像拍摄装置2、计算机3d以及服务器4构成。

在医用图像拍摄装置2中，设有医用图像数据取得单元11。在计算机3d中，设有个人信息删除单元12、分段单元13、医用图像数据转换单元14以及添加标记单元15。此外，在服务器4中，设有三维多边形数据管理单元16。

图5示意的是实施例2的医疗信息虚拟现实服务器系统的系统结构图。

如图5所示，医疗信息虚拟现实服务器系统1a由计算机(3a～3d)和服务器4、网络5、头戴式显示器6和传感器7构成，

在医用图像拍摄装置2中，如图4所示，使用医用图像数据取得单元11，获得作为目标对象的医学图像数据的被验者的医用图像数据。所获得的医用图像数据通过设置在计算机3d中的个人信息删除单元12来删除个人信息。另外，通过分割单元13，将三维多边形数据按照每个生体部位、医疗器具或医疗设备分割成片段。通过设置在计算3d中的医用图像数据转换单元14，将医用图像数据转换成三维多边形数据。通过添加标记单元15，对三维多边形数据或片段添加标记。如图5所示，添加标记后的三维多边形数据经由网络5发送到服务器4。在服务器4中，通过图4中所示的三维多边形数据管理单元16将三维多边形数据保存在数据库中，并基于标记输出三维多边形数据。

医疗机构8a设有计算机3a，教育机构8b设有计算机3b，保健机构8c设有计算机3c。这里，被验者并没有在医疗机构8a、教育机构8b或保健机构8c接受过医用图像拍摄，但被验者的个人信息在被删除的状态下保存在服务器4，因此可以在医疗机构8a，教育机构8b或保健机构8c中的任何一个机构中通过标记检索和使用该数据。另外，例如通过设置在医疗机构8a中的医用图像拍摄装置取得医用图像数据，使用预先设置在计算机3a中的个人信息删除单元来删除个人信息的结构也是也可以的。

在医疗机构8a中，当服务器4中保存的数据根据标记被输出时，用户可以使用与计算机3a通过有线或无线连接的头戴式显示器6以及传感器7，来体验虚拟现实空间10。体感了虚拟现实空间10的数据可以通过计算机3a自动添加标记，或者通过计算机3a或与计算机3a通过有线或无线连接的附加控制器(无图示)手动添加标记，经由网络5发送到服务器4并被保存。通过重复这样的系统利用，由客户积累利用数据，进而构筑实用性更高的数据库。

【实施例3】

图6示意的是实施例3的医疗信息虚拟现实服务器系统的功能框图。如图6所示，本实施例的医疗信息虚拟现实服务器系统1b，由计算机(3d,3e)以及服务器4构成。

在医用图像拍摄装置2中，设有医用图像数据取得单元11。在计算机3d中，设有个人信息删除单元12。此外，在计算机3d中，还设有分段单元13、医用图像数据转换单元14以及添加标记单元15。此外，在服务器4中，设有三维多边形数据管理单元16。

图7示意的是实施例3的医疗信息虚拟现实服务器系统的系统结构图。

如图7所示，医疗信息虚拟现实服务器系统1b由医用图像拍摄装置2、计算机(3a～3e)、服务器4、网络5、头戴式显示器6和传感器7构成。

在医用图像拍摄装置2中，如图6所示，使用医用图像数据取得单元11，获取作为目标对象的医用图像数据的被验者的医用图像数据。所获取的医用图像数据通过设置在计算机3d中的个人信息删除单元12来删除个人信息，如图7所示的通过网络5发送到计算机3e。在计算机3e中，如图6所示的通过分割单元13，将三维多边形数据按照每个生体部位分割成片段。通过医用图像数据转换单元14，将医用图像数据转换成三维多边形数据。通过添加标记单元15，对三维多边形数据或片段添加标记。通过三维多边形数据管理装置16，三维多边形数据被存储在服务器4的数据库中，并且可以通过标记输出。

用于从医用图像数据中删除个人信息的单元，是设置在与医用图像拍摄装置2通过有线或无线连接的计算机3d上，通过在计算机3d中删除个人信息，个人信息是在被分离的状态下连接到互联网5，可实现保护隐私。将医用图像数据转换成三维多边形数据的单元，并非一定要是要设置在与医用图像摄像装置2通过有线或无线连接的计算机3d，与其不同的是可以设置在经由网络5所设置的计算机3e或者服务器4中。

在医疗机构8a、教育机构8b或保健机构8c中分别设置有计算机(3a～3c)，与实施例2同样的是都能够体感虚拟现实空间。

图8是将人体的上肢分割成片段的三维多边形数据的示意图，图(1)是主视图，图(2)是立体放大图。如图8(1)所示，在图像中，按照肝脏20、门静脉21、胰脏22、肾脏23、大动脉24、心脏25、肋骨26、脾脏27、脊椎28以及骨盆29来分段显示。另外，各部位分别作为片段进行分割，部位的名称被添加标记。因此，如图8(1)所示，各部位的名称以文本显示，通过箭头能够清楚地识别哪个部位是哪个部位。像这样，将活体部位以颜色来区分显示，各部位的名称以文本显示，可以提高视认性和数据的活用性。

图8(2)示意的是将图8(1)所示的图像放大，稍微从下方观察时的状态示意图。如图8(2)所示，在图像中，胰脏22、肾脏23、脾脏27以及胆囊30被分割成片段显示。由于各部位的片段作为三维多边形数据被保存并被管理，因此，如图8(2)所示，即使改变观看角度，各部位的名称也会相应指向各自的部位来进行显示。另外，在图8(2)中，显示有在图8(1)中未显示的胆囊30。像这样，按照显示的角度等，仅显示认为有必要显示的部位的名称或者全部显示等，对用户来说是易懂且容易理解的显示。

关于这种片段分割方法，参照图11来说明。图11示意的是医用图像数据分割的流程图。

如图11所示，首先，将二维医用图像数据自动分割(S21)。将二维医用图像数据转换成三维多边形数据(S22)。将三维多边形数据自动分割(S23)。关于根据二维医学图像数据的自动分割和根据三维多边形数据的自动分割，可以如本实施例所述的两种都执行，或者可以只执行其中一个。

对二维图像数据与三维多工数据进行比较评估(S24)。如果自动分割没有错误(S25)，则将分割结果存储在数据库中(S26)。如果自动分割存在错误，则手动校正分割(S27)。例如，在创建完三维多边形数据的状态下，根据医疗提供者的见解很明显确定是特定的脏器、血管等的情况下，在三维多边形数据中的相应位置进行标记。但是，如果从医疗提供者的角度来看，不能清楚的确定具体是哪些器官、或是否有肿瘤等，将与该位置对应的二维医用图像数据进行比较，在三维多边形数据中的对应的相关位置进行标记。

作为分割的具体的判断要素，图像的浓淡差或三维位置坐标信息成为重要的判断要素。

另外，医疗提供者的评价、校正不是必须的，也可以通过数据的积累，使其成为不需要手动校正的系统。

图12示意的是医用图像数据的利用以及收集的流程图。如图12所示，在本实施例的医疗信息虚拟现实系统中，利用数据库执行自动分割(S31)。接下来，由医疗工作者执行评估和纠正(S32)。将分割结果存储在数据库中(S33)。重复上述步骤。

这里，要存储的分类结果不仅包括医疗提供者执行的评估和纠正后的最终结果，还包括自动分割的结果与手动分割后的结果之间的差异等，通过这样的数据累积，可以使更高准确度的自动分割变成可能。

通过执行以上所述的分割方法，有助于标记。关于添加标记的方法，可以对成为数据获取对象的整个生体添加标记，或者对诸如器官或血管的每个片段添加标记。例如，当要对年龄进行标记时，就对整个生体进行标记。此外，要对肿瘤的某个部位进行标记的情况下，标记有肿瘤的器官或在有肿瘤的脏器内被分割成片段的肿瘤部位进行标记。

另外，不限于每个片段，也可以标记特定的三维坐标，也可以设定空间范围来进行标记。

标记的种类包括标记、数值输入、文本中的评语等。例如，要标记生体的年龄等时，可以通过数值输入来进行，但是要在记录定性的注释的情况下，也可以用文本来进行注释。此外，还可以使用标记在三维空间中进行标记。

【实施例4】

图9示意的是实施例4的医疗信息虚拟现实系统的系统结构图。

如图9所示，医疗信息虚拟现实系统100包括计算机(3a，3d)，智能电话(30a～30c)，服务器4，网络5，头戴式显示器6和传感器7。

医疗机构8a配备有计算机3a，智能电话(30a～30c)，头戴式显示器6和传感器7。智能电话(30a～30c)经由网络50连接至计算机3a。计算机3a通过有线或无线连接到头戴式显示器6和传感器7。虽然头戴式显示器6和传感器7未与智能手机(30a～30c)连接，但是安装了用于使用医疗信息虚拟现实系统100的智能手机VR应用程序(无图示)，实现了能够同时观看使用头戴式显示器6和传感器7所显示的虚拟现实空间10的结构。

其具体结构是，安装在计算机3a上的虚拟现实应用程序(无图示)和安装在智能手机(30a～30c)上的虚拟现实应用程序(无图示)经由网络50连接。在本实施例中，网络50显示为无线通信，也可以是有线通信。在计算机3a的虚拟现实应用程序中，将利用传感器7取得的头戴式显示器6的位置信息和控制器(无图示)的信息发送到智能手机(30a～30c)，在智能电话(30a～30c)中，也能够在使用头戴式显示器6的用户所观看的虚拟现实空间10相同的虚拟现实空间内的位置上观看虚拟现实空间10。关于控制器的位置信息，不仅是控制器的位置，由于控制器的方向也是通过传感器7来感测的，因此，在计算机3a中，可以实时的将使用虚拟现实用应用程序的用户的手势实时的显示在智能手机(30a～30c)上的虚拟现实空间上

也就是说，使用头戴式显示器6或控制器的用户和使用智能手机(30a～30c)的用户在共享相同的虚拟现实空间时，可以识别出与各自位置信息相匹配的虚拟现实空间。

这样，通过使用智能手机，即使有很多参加者的情况下，也能容易且廉价地利用虚拟现实系统。

图10示意的是实施例4的医疗信息虚拟现实系统的数据流程图。如图10所示，首先，在客户终端中输入检索信息(S01)。将关于检索信息的数据发送到服务器(S02)。服务器接收数据(S03)。服务器执行检索并提取检索结果(S04)。检索结果从服务器发送到客户终端(S05)。客户终端接收检索结果(S06)。客户终端基于检索结果创建虚拟现实空间(S07)。将构成创建的虚拟现实空间的数据从客户终端发送到移动终端(S08)。移动终端接收构成创建虚拟现实空间的数据(S09)。客户终端上显示虚拟现实空间(S10)。在移动终端中，显示虚拟现实空间(S11)。

【实施例5】

图13～图15示意的是实施例5的医疗信息虚拟现实数据的创建流程图。首先，如图13所示，在生成医疗信息虚拟现实数据时，将医用图像数据输入到医疗信息虚拟现实服务器系统1(S41)。其次，利用CT图像数据、MRI图像数据或超声波图像数据的二维医用图像数据与生体部位、植入物、医疗器械、标记器件或装着物的特征部位的三维位置测量数据中的至少一个的医用图像数据来将每个特征部位执行分割片段(S42)。将医用图像数据转换为有片段的三维多边形数据(S43)。对三维多边形数据或片段添加标记(S44)。将三维多边形数据存储在数据库中，并根据添加的标记输出(S45)。

作为与上述不同的构成，可以考虑删除医用图像数据中所存在的个人信息的配置。例如，如图14所示，在输入医用图像数据(S51)之后，删除个人信息(S52)，然后使用上述任何医用图像数据将每个特征部分分割成片段(S53)。这里，删除个人信息可不必在输入医用图像数据之后，也可以选择输入已经删除了个人信息的医学图像数据的方法。

此外，分割片段(S53)之后的流程与图13中的流程相同。

此外，作为与上述不同的构成，利用从医疗信息虚拟现实服务器系统1输出的三维多边形数据，记录用户体感到的虚拟现实空间时的数据，发送到医疗信息虚拟现实服务器系统1，使其成为一个具有更高可用性的数据库。例如，如图15所示，在从医疗信息虚拟现实服务器系统1输出数据之后(S65)，将记录了虚拟现实空间中的用户的动作等的数据与三维多边形数据的时间序列数据进行关联并保存，能够创建更有活用性的医疗信息虚拟现实用数据(S66)。

此外，从医疗信息虚拟现实服务器系统1输出数据(S65)之前的流程与图13中的流程相同。

工业应用性

本发明可作为医疗提供者在诊断、学习、培训、研究和治疗方面改善团队内部沟通的系统，进一步的还可作为向患者进行解释的系统。

图中符号说明

1 医疗信息虚拟现实服务器系统

1a，1b，100 医疗信息虚拟现实系统

2 医用图像拍摄装置

3，3a～3e 计算机

4 服务器

5，50 网络

6 头戴式显示器

7 传感器

8a 医疗机构

8b 教育机构

8c 保健机构

10 虚拟现实空间

11 医用图像数据取得单元

12 个人信息删除单元

13 分割单元

14 医用图像数据转换单元

15 添加标记单元

16 三维多边形数据管理单元

17 输入单元

18 输出单元

20 肝脏

21 门静脉

22 胰脏

23 肾脏

24 大动脉

25 心脏

26 肋骨

27 脾脏

28 脊椎

29 骨盆

30 胆囊

Claims (19)

1.一种医疗信息虚拟现实服务器系统，其特征在于，包括：

数据输入单元，用于输入医用图像数据；和

片段分割单元，用于将医学图像数据分割为包括生体部位、植入物、医疗器械、标记器件或穿着物在内的每个特征部位的片段；和

三维数据转换单元，用于将医用图像数据转换成具有片段的三维多边形数据；和

添加标记单元，用于对所述三维多边形数据或所述片段添加标记；和

坐标关联单元，用于将三维多边形数据与任意的世界坐标位置进行关联；和

数据输出单元，用于将存储在数据库中的所述三维多边形数据基于所添加的标记输出。

2.根据权利要求1所述的医疗信息虚拟现实服务器系统，其特征在于，

还包括个人信息删除单元，用于删除捆绑在所述医用图像数据里的个人信息。

3.根据权利要求1所述的医疗信息虚拟现实服务器系统，其特征在于，

当所述医用图像数据是二维医用图像数据时，所述片段分割单元基于图像的浓淡差或三维位置坐标信息执行片段分割。

4.根据权利要求1～3中任一项所述的医疗信息虚拟现实服务器系统，其特征在于，所述医学图像数据，至少是包含CT图像数据、MRI图像数据或超声波图像数据在内的二维医学图像数据和所述特征部位的三维位置测量数据中的任意一种。

5.根据权利要求1～4中任一项所述的医疗信息虚拟现实服务器系统，其特征在于，所述片段分割单元，还包括用于校正所述三维多边形数据的所述片段，对经过校正后的片段进行分割。

6.根据权利要求1～4中任一项所述的医疗信息虚拟现实服务器系统，其特征在于，所述片段分割单元，基于被分割成片段的所述医用图像数据，还包括用于校正所述片段并对校正后的片段进行分割。

7.根据权利要求1～6中任一项所述的医疗信息虚拟现实服务器系统，其特征在于，将所述三维多边形数据、和通过转换与所述三维多边形数据相同的被验体相关的过去的医用图像数据获取的三维多边形数据之间的时间序列的变化作为一系列的时间序列数据，存储在所述数据库。

8.根据权利要求1～6中任一项所述的医疗信息虚拟现实服务器系统，其特征在于，将与所述三维多边形数据的时间变化相关联的形状变化作为一系列时间序列数据，存储在所述数据库。

9.根据权利要求1～8中任一项所述的医疗信息虚拟现实服务器系统，其特征在于，将使用了所述三维多边形数据的虚拟现实空间中的用户的视野和动作作为一系列的时间序列数据，与所述三维多边形数据的时间序列数据进行关联，保存到所述数据库。

10.根据权利要求9所述的医疗信息虚拟现实服务器系统，其特征在于，

将使用了上述三维多边形数据的虚拟现实空间中伴随用户的变形动作的所述特征部位的三维形状的变化作为一系列的时间序列数据，与所述三维多边形数据的时间序列数据进行关联，保存到所述数据库。

11.根据权利要求1～10中任一项所述的医疗信息虚拟现实服务器系统，其特征在于，所述片段分割的所述的生体部位，至少是从器官、血管、病灶、神经、膜、和包含血液在内的液体中选出的任意一个。

12.根据权利要求1～11中任一项所述的医疗信息虚拟现实服务器系统，其特征在于，在所述三维数据转换单元中，还包括多边形数据追加单元，将从转换后的所述三维多边形数据的来源的医用图像数据以外生成的三维多边形数据，追加或叠加到所述三维多边形数据中。

13.一种医疗信息虚拟现实程序，其特征在于，

是一种让计算机执行权利要求1所述的医疗信息虚拟现实服务器系统中的所述数据输入单元、所述片段分割单元、所述三维数据转换单元、所述添加标记单元以及所述数据输出单元功能的医疗信息虚拟现实程序。

14.一种医疗信息虚拟现实系统，其特征在于，

是一种以交互方式向用户显示虚拟现实空间的客户终端、和权利要求1～12中任一项所述的医疗信息虚拟现实服务器系统经由网络连接的用于数据接收和发送的系统，

所述客户终端，将用户输入的标记信息发送到所述医疗信息虚拟现实服务器系统，所述医疗信息虚拟现实服务器系统，根据接收到的标记信息提取出三维多边形数据并发送给所述客户终端，

所述客户终端，根据接收的三维多边形数据生成虚拟现实空间并显示，

将记录在所述虚拟现实空间中用户的动作以及基于动作的所述虚拟现实空间的变化，发送给所述医疗信息虚拟现实服务器系统。

15.根据权利要求14所述的医疗信息虚拟现实系统，其特征在于，

至少有一台移动终端通过有线或无线连接到所述客户终端，

将在所述客户终端中创建的虚拟现实空间的构建数据发送到所述移动终端，

在所述移动终端中，基于接收到的数据显示虚拟现实空间，

所述客户端中显示的虚拟现实空间和所述移动终端中显示的虚拟现实空间，显示为共享相同的虚拟现实空间。

16.一种医疗信息虚拟现实用数据的创建方法，其特征在于，包括：

片段分割步骤，至少使用CT图像数据、MRI图像数据或超声图像数据的二维医学图像数据和生体部位、植入物、医疗器械、标记器件或穿着物的特征部位的三维位置测量数据中的任意一种医用图像数据，对每个所述特征部位进行片段分割的步骤；和

三维数据转换步骤，将所述医用图像数据转换成具有所述片段的三维多边形数据的步骤；和

添加标记步骤，对所述三维多边形数据或所述片段添加标记的步骤；和

坐标关联步骤，将所述三维多边形数据与任意的世界坐标位置进行关联的步骤。

17.根据权利要求16所述的医疗信息虚拟现实用数据的创建方法，其特征在于，还包括个人信息删除步骤，将捆绑在所述医用图像数据里的个人信息进行删除的步骤。

18.根据权利要求16或17中所述的医疗信息虚拟现实用数据的创建方法，其特征在于，还包括时间序列数据关联步骤，将记录有基于所述三维多边形数据创建的虚拟现实空间中用户的动作以及基于动作的虚拟现实空间的变化的时间序列数据，与所述三维多边形数据的时间序列数据进行关联的步骤。

19.一种医疗信息虚拟现实用数据，其特征在于，

是通过权利要求16～18中任一项所记载的医疗信息虚拟现实用数据的创建方法创建的。