CN103079461A - 医疗信息显示设备、方法和程序 - Google Patents

Abstract

允许通过更简单的操作和更直观的方法获得关于内窥镜检查的医疗信息。获取条件输入的用户界面（32）接收在待检对象的外观图像（人体图标（45））的显示中进行的动作输入。内窥镜条件确认单元（34）基于动作的位置信息和待检对象的外观图像在显示屏幕上的位置来识别表示将内窥镜插入到在待检对象的外观图像中所显示的待检对象中的插入路径的内窥镜动作。当识别出内窥镜动作时，确认用于获取针对实际和/或虚拟内窥镜检查的医疗信息的医疗信息获取条件。医疗信息获取单元（35）从存储有多组医疗信息的医疗信息数据库（53）中选择性地获取满足所确认的医疗信息获取条件的医疗信息。医疗信息显示控制单元（36）显示所获得的医疗信息。

Description

医疗信息显示设备、方法和程序

技术领域

本发明涉及允许用户使用直观的用户界面（例如触摸面板）显示期望的医疗信息的技术。

背景技术

在医疗场所，生成广泛多样的医疗信息，包括波形信息（例如心电图、脑电图等）、数字信息（例如血压、体温等）和文本信息（例如各种检查报告、医疗记录等），还包括通过诸如CT、MRI、US、PET等各种物理治疗设备所获取的图像信息。

例如，在内窥镜检查的情况下，根据对象的部位可利用各种类型的内窥镜，例如气管镜、胃肠内窥镜、胸腔镜、关节镜等，由此获得各种内窥镜图像，并且生成包括所获得的内窥镜图像的结果等的内窥镜检查报告。此外，如果利用由CT等获得的三维体数据作为输入，通过中心投影方法来投影像素值，则可以获得虚拟内窥镜图像，该虚拟内窥镜图像描绘了利用虚拟内窥镜观察到的对象的内部。生成的内窥镜图像用于图像诊断，并且生成图像解释报告。

一些医疗机构已建立了用于管理这样的医疗信息的系统。例如，这样的医疗信息存储在数据库中作为电子数据，然后响应于来自客户终端的请求选择用户所期望的医疗信息，并且将选择的信息显示在连接至客户终端的显示装置上。

为了提高对这样的医疗信息的选择和显示的可操作性，提出了各种用户界面。例如，已知的如在日本未审查专利公开No.2005-080969中描述了这样一种用户界面，其中，当选择患者的给定部位时，允许用户使用在显示装置上显示的人体图标来从GUI选择粗略部位，从而在显示装置上显示详细部位信息并且从所显示的详细部位信息中选择期望的详细部位。

此外，例如已知的在日本未审查专利公开No.2009-119000中描述了另一种用户界面，其中，允许用户使用具有触摸屏显示器（其连接至医疗图像处理工作站并且与医疗图像处理工作站一起使用）的输入装置通过触摸操作在轴向截面图像中绘制参考线，并且在绘制时，生成并显示以该参考线作为剖切面的冠状截面图像。

发明内容

然而，在日本未审查专利公开No.2005-080969中所描述的用户界面仅允许直观选择粗略部位，但鉴于如上所述在医疗场所生成广泛多样的医疗信息的事实，并非总是这样的情况：即，仅通过这种对粗略部位的选择就可以适当快速地直观缩小所需医疗信息的范围。在日本未审查专利公开No.2009-119000中所描述的用户界面是旨在将已选择图像切换至另一个图像的界面，而不能用于适当地缩小所需医疗信息的范围。

鉴于上述情况开发出本发明，本发明的一个目的是提供一种允许用户通过更直观和更容易的操作获得关于真实和/或虚拟内窥镜检查的医疗信息的医疗信息显示设备、系统和方法。本发明的另一目的是提供一种医疗信息显示控制程序。

本发明的医疗信息显示设备是这样的设备，其包括：

显示装置，其用于显示给定信息；

动作输入装置，其用于检测在显示装置的显示表面上执行的动作操作，并且输出表示检测到的动作操作内容的动作信息；

第一显示控制装置，其用于在显示装置的预定显示位置处显示表示对象外观的对象外观图像；

获取条件确认装置，其用于基于在显示对象外观图像时根据动作输入装置检测到的动作操作而输出的动作信息以及对象外观图像的显示位置信息来确认用于获取关于对象的医疗信息的医疗信息获取条件；

医疗信息获取装置，其用于从存储有多组医疗信息的医疗信息存储装置中选择性地获取满足所确认的医疗信息获取条件的医疗信息；以及

第二显示控制装置，其用于在显示装置上显示所获取的医疗信息，

其中，获取条件确认装置包括内窥镜条件确认装置，当对象外观图像的显示位置信息和包括在根据显示对象外观图像时的动作操作而输出的动作信息中的、并且表示动作操作轨迹的动作轨迹信息满足表示将内窥镜插入到由对象外观图像所表示的对象中的插入操作的内窥镜动作条件时，该内窥镜条件确认装置对用于获取关于对象的实际和/或虚拟内窥镜检查的医疗信息的医疗信息获取条件进行确认。

本发明的一种医疗信息显示系统是这样的系统，其中，用于基于给定医疗信息获取条件选择性地提供对象的医疗信息的医疗信息供给设备和本发明的医疗信息显示设备经由网络通信链接。此处，医疗信息供给设备可以是这样的设备，其包括：医疗信息存储装置，其以允许基于给定的医疗信息获取条件选择医疗信息的数据结构来对多组医疗信息进行存储；获取条件接收装置，其用于从医疗信息显示设备接收医疗信息获取条件；医疗信息检索装置，其用于从医疗信息存储装置获取满足接收到的医疗信息获取条件的医疗信息；以及医疗信息发送装置，其用于将所获取的医疗信息发送至已发送了所述医疗信息获取条件的医疗信息显示设备。

本发明的一种医疗信息显示方法是这样的方法，包括：

在显示装置上显示表示对象外观的对象外观图像的步骤；

接收动作的输入并且输出动作位置信息的步骤，所述动作是在显示对象外观图像时在显示装置的显示表面上执行的，并且所述动作位置信息表示输入的动作在显示表面上的位置；

基于输出的动作位置信息和对象外观图像在显示表面上的位置来确认用于获取对象的医疗信息的医疗信息获取条件的步骤；

从存储有多组医疗信息的医疗信息存储装置中选择性地获取满足所确认的医疗信息获取条件的医疗信息的步骤；以及

显示所获取的医疗信息的步骤，

其中，确认医疗信息获取条件的步骤包括如下步骤：识别表示内窥镜在由对象外观图像所表示的对象中的插入路径的内窥镜动作，并且如果识别出内窥镜动作，则确认用于获取对象的实际和/或虚拟内窥镜检查的医疗信息的医疗信息获取条件。

本发明的一种医疗信息显示控制程序是用于使计算机执行以下步骤的程序：

在显示装置上显示表示对象外观的对象外观图像的步骤；

接收动作的输入并且输出动作位置信息的步骤，所述动作是在显示对象外观图像时在显示装置的显示表面上执行的，并且所述动作位置信息表示输入的动作在显示表面上的位置；

基于输出的动作位置信息和对象外观图像在显示表面上的位置来确认用于获取对象的医疗信息的医疗信息获取条件的步骤；

从存储有多组医疗信息的医疗信息存储装置中选择性地获取满足所确认的医疗信息获取条件的医疗信息的步骤；以及

显示所获取的医疗信息的步骤，

其中，在确认医疗信息获取条件的步骤中，该程序使计算机执行如下步骤：识别表示内窥镜在由对象外观图像所表示的对象中的插入路径的内窥镜动作，并且如果识别出内窥镜动作，则确认用于获取对象的实际和/或虚拟内窥镜检查的医疗信息的医疗信息获取条件。

此处，关于对象外观图像的具体示例，可以引用示意性表示了对象的图像。对象外观图像可以是其中用于确认对象部位的部位确认信息与图像的每个位置的位置信息相关的图像。

可以基于与对象外观图像所表示的对象上的动作操作轨迹的起始点靠近的位置、对象外观图像所表示的对象上的动作的终点位置、通过了对象外观图像所表示的对象上的动作的多个点位置的轨迹、和动作的形状当中至少之一来做出关于是否满足内窥镜动作条件的判定和/或关于内窥镜检查的医疗信息获取条件的确认。

如果利用实际内窥镜成像而形成的真实内窥镜图像以及根据对象的三维医疗图像重新构建而成、且表示从对象体腔内的给定位置观察到的对象体腔的虚拟内窥镜图像被获取来作为满足用于获取关于内窥镜检查的医疗信息的医疗信息获取条件的医疗信息，那么真实内窥镜图像和虚拟内窥镜图像可以同时被显示。此外，可以采用如下配置：提前接收关于是否执行真实内窥镜图像和虚拟内窥镜图像的同时显示的选择。

可以采用如下配置：如果从医疗信息存储装置获取了表示对象的医疗图像，则根据需要对所获取的医疗图像执行预定图像处理，并且如果获取了表示对象的三维医疗图像来作为满足用于获取关于虚拟内窥镜检查的医疗信息的医疗信息获取条件的医疗信息，则基于三维医疗图像来生成从对象体腔内的给定位置观察到的、且表示体腔的虚拟内窥镜图像，并且显示所生成的虚拟内窥镜图像。

可以采用如下配置：如果获取了满足医疗信息获取条件的多组医疗信息，则在显示装置上列表显示该多组医疗信息，并且接收对显示目标医疗信息的选择。此处，该多组医疗信息可以是表示在不同时间或对象的不同部位处进行的检查的那些信息。此外，当执行列表显示时，可以以缩略图或图标的形式显示该多组医疗信息。

根据本发明，执行下面步骤：当在显示装置上显示对象外观图像时接收在显示表面上执行的动作的输入，基于动作的位置信息和对象外观图像在显示表面上的位置来识别表示内窥镜在由对象外观图像所表示的对象中的插入路径的内窥镜动作，如果识别出内窥镜动作，则确认用于获取对象的实际和/或虚拟内窥镜检查的医疗信息的医疗信息获取条件，从存储有多组医疗信息的医疗信息存储装置中选择性地获取满足所确认的医疗信息获取条件的医疗信息，并且显示所获取的医疗信息。因此，允许用户通过更直观和更容易的操作来获取关于内窥镜检查的医疗信息。

附图说明

图1示出包括根据本发明实施例的医疗信息显示设备的医疗信息集成系统以及外围系统的配置。

图2示意性示出根据本发明实施例的医疗信息显示设备的外部视图。

图3是根据本发明实施例的医疗信息显示设备的框图，示出了其主要部件。

图4是医疗信息显示设备和医疗信息管理服务器的框图，示意性示出了在本文第一实施例中实现的功能。

图5是示出在本发明第一实施例的医疗信息集成系统中执行的用于显示医疗信息的处理流程的流程图。

图6通过示例示出人体图标。

图7通过示例示出本发明的第一实施例和第二实施例中医疗信息数据库的数据结构和登记数据的示例。

图8示出汇总在医疗信息数据库中登记的内窥镜相关信息的登记条件的表格。

图9A通过示例示出将上消化道内窥镜插入由人体图标所表示的人体中的动作。

图9B通过示例示出将大肠上消化道内窥镜插入由人体图标所表示的人体中的动作。

图10A是表示用于判定内窥镜动作的参考数据的第一示例的表格。

图10B是表示用于判定内窥镜动作的参考数据的第二示例的表格。

图10C是表示用于判定内窥镜动作的参考数据的第三示例的表格。

图10D是表示用于判定内窥镜动作的参考数据的第四示例的表格。

图10E是表示用于判定内窥镜动作的参考数据的第五示例的表格。

图10F是表示用于判定内窥镜动作的参考数据的第六示例的表格。

图11A通过示例示意性示出内窥镜动作的轨迹形状模型。

图11B通过示例示意性示出内窥镜动作的另一个轨迹形状模型。

图12是医疗信息显示设备和医疗信息管理服务器的框图，示意性示出了在本文第二实施例中实现的功能。

图13是示出在本发明第二实施例的医疗信息集成系统中执行的用于显示医疗信息的处理流程的流程图。

图14是医疗信息显示设备和医疗信息管理服务器的框图，示意性示出了在本文第三实施例中实现的功能。

图15A是示出在本发明第三实施例的医疗信息集成系统中执行的用于显示医疗信息的处理流程的流程图（前半部）。

图15B是示出在本发明第三实施例的医疗信息集成系统中执行的用于显示医疗信息的处理流程的流程图（后半部）。

图16通过示例示出本发明第三实施例中的医疗信息数据库的数据结构和登记数据的示例。

图17A通过示例示出医疗信息选择屏幕。

图17B通过示例示出可替换的医疗信息选择屏幕。

图18是示出在本发明第四实施例的医疗信息集成系统中执行的用于显示医疗信息的处理流程的流程图。

图19A通过示例示出本发明第四实施例中的医疗信息数据库的数据结构和登记数据的示例（前半部）。

图19B通过示例示出本发明第四实施例中的医疗信息数据库的数据结构和登记数据的示例（后半部）。

图20通过示例示出本发明第四实施例中的医疗信息数据库的数据结构和登记数据的示例。

图21通过示例示出医疗信息选择/内窥镜图像显示模式选择屏幕。

图22A示出真实内窥镜图像和虚拟内窥镜图像同时显示的第一具体示例。

图22B示出真实内窥镜图像和虚拟内窥镜图像同时显示的第二具体示例。

图22C示出真实内窥镜图像和虚拟内窥镜图像同时显示的第三具体示例。

图22D示出真实内窥镜图像和虚拟内窥镜图像同时显示的第四具体示例。

具体实施方式

图1示出包括了根据本发明实施例的医疗信息显示设备1的医疗信息集成系统3以及外围系统的配置。如附图中示出，医疗信息集成系统3经由网络9通信链接到电子医疗记录系统4、图像诊断系统5、内窥镜检查系统6、病理检查系统7以及每个临床科室系统8。医疗信息集成系统3包括根据本发明实施例的医疗信息显示设备1和医疗信息管理服务器2。

在本实施例中，在电子医疗记录系统4、图像诊断系统5、内窥镜检查系统6、病理检查系统7和每个临床科室系统8中生成的医疗信息由医疗信息管理服务器2整体地收集和管理。医疗信息显示设备1向医疗信息管理服务器2请求期望的医疗信息，并且显示从医疗信息管理服务器2提供的满足请求的医疗信息。

图2示意性示出根据本发明实施例的医疗信息显示设备1的外观，以及图3是医疗信息显示设备1的框图，示出了其主要部件。

如图2所示，医疗信息显示设备1包括液晶显示器12，液晶显示器12与前侧的触摸面板11一体形成，其中在侧面上具有用于无线通信的天线单元13和电源开关14。

如图3所示，医疗信息显示设备1是经由数据总线链接CPU15、主存储器16、辅助存储装置17、触摸面板11、液晶显示器12、通信接口18等的配置。

CPU15通过将存储在辅助存储装置17中的中间件（例如操作系统等）和每个程序（例如用于获得和显示本发明的医疗信息的应用软件）加载到主存储器16来执行每个处理。这允许接收用户经由触摸面板11的输入、在液晶显示器12上的输入/输出控制（例如对包括医疗信息的各种类型信息的显示控制）、经由通信接口18的通信等。

关于辅助存储装置17，使用众所周知的闪存驱动器（SSD：固态驱动器）或硬盘驱动器（HDD）。辅助存储装置17包括上述安装于其中的每个程序。可以使用连接至医疗信息显示设备1的磁盘驱动器从记录介质（例如CD-ROM等）安装用于显示本发明的医疗信息的应用软件，或者在经由网络（例如因特网等）从链接到设备1的服务器的存储装置下载后安装该应用软件。此外，辅助存储装置17用于临时存储从医疗信息管理服务器2获得的医疗信息。

关于触摸面板11，任何已知类型均可使用，包括电阻类型、电容类型、电磁类型、表面弹性波（超声波）类型、红外线类型等。此外，可以使用能够检测多点触摸（即，在多个位置处的触摸）的触摸面板（例如投射电容式触摸面板）。用用户手指或用预定笔等执行触摸操作。触摸面板11以由控制程序限定的时间间隔来检测其上的触摸开始、触摸位置移动以及触摸结束，并且输出有关检测到的触摸类型和那一时刻在触摸面板11的坐标系中的触摸位置的信息。如本文中使用的术语“触摸开始”指的是在触摸面板11上触摸新位置的操作，术语“触摸位置移动”指的是在保持对触摸面板11的触摸的情况下移动触摸位置的操作，以及术语“触摸结束”指的是从触摸面板移开的操作。这允许对描绘了在触摸面板11上的轨迹的动作操作进行检测来作为序列点。即，用于描绘触摸开始、触摸位置移动和触摸结束的轨迹的一系列操作被检测作为一个动作操作，并且获得在该系列操作的每个时间点检测到的多个位置的信息作为动作信息。在制造医疗信息显示设备1时通过校准使触摸面板11的坐标系与液晶显示器12的坐标系之间的对应关系一致，使得可以进行相互坐标转换。在下文中，假设液晶显示器12的坐标系和触摸面板11的坐标系是相同的坐标系，并且为了简化描述而称其为显示设备的坐标系。

通信接口18通过众所周知的移动通信网络、无线LAN等控制通信。在本实施例中，经由通信接口18执行与医疗信息管理服务器2的通信。

同时，信息管理服务器2是具有医疗信息数据库的计算机。关于硬件配置，除了熟知的硬件装置（包括CPU、主存储器、辅助存储装置、I/O接口、通信接口、数据总线等），它还包括外部存储装置。医疗信息管理服务器2设有用于在数据库中登记并且从数据库提取医疗信息的应用软件、以及熟知的操作系统和数据库管理软件。从记录介质（例如CD-ROM等）安装这样的软件，或者从经由网络（例如因特网等）链接的服务器的存储装置下载后安装该软件。

电子医疗记录系统4采用已知计算机系统，并且例如配置成使每个临床科室系统8的终端和具有电子医疗记录数据库（其中存储有电子医疗记录信息）的电子医疗记录管理服务器经由网络通信链接。使用电子医疗记录数据库来管理从每个临床科室等的终端输入的电子医疗记录信息。例如，电子医疗记录包括：患者信息，例如患者的名字、出生日期、性别等；检查历史信息，例如每个所接受检查的日期、内容、结果等；诊断历史，例如所接受的诊断的日期、主要疾病、确定的疾病名称等；以及治疗历史信息，例如手术日期、程序或药物等。在本实施例中，电子医疗记录数据库具有数据库结构，在该数据库结构中用于识别每位患者的患者ID与上述电子医疗记录相关。

图像诊断系统5也采用已知的计算机系统，并且例如配置成使图像诊断医疗工作站、具有存储了通过诸如CT、MRI等物理治疗设备捕获的图像数据的数据库的图像管理服务器、以及具有存储了对所捕获图像的图像解释结果的图像解释报告的图像解释报告数据库的图像解释报告服务器经由网络通信链接。此处，图像诊断医疗工作站能够根据诊断的目的或目标结合已知的图像分析（例如骨提取/消除、血管提取、器官提取、异常组织图案的检测等）执行已知的图像处理（例如MIP、MPR、CPR、体绘制等），并且这些处理/分析过的图像也可以存储在图像数据库中。图像数据可以既包括二维图像（像素数据）又包括三维图像（体数据），并且既包括静止图像又包括运动图像。除了患者ID之外，图像数据库还包括与每个图像相关的其它辅助信息，例如用于识别每个图像的图像ID、获得图像的物理治疗设备的信息、图像中对象的部位信息等。在图像生成时由物理治疗设备来提供物理治疗设备信息。可以基于检查顺序等在图像生成时由物理治疗设备来提供对象的部位信息，或者在图像是断层图像（例如CT图像等）的情况下，则可以使用熟知的部位识别技术（例如在日本未审查专利公开No.2008-259682中所描述的技术）对于每个切片通过图像诊断医疗工作站来提供部位信息。图像解释报告数据库具有这样的数据库结构，在该数据库结构中每个图像解释报告、患者ID和解释目标图像的图像ID彼此相关。每个数据或图像解释报告可以通过用于确认每次检查（成像）的检查ID来与患者ID间接相关。

内窥镜检查系统6也采用已知的计算机系统，并且包括内窥镜检查管理服务器，其中的内窥镜检查数据库中具有与检查ID和患者ID相关的通过各种类型的内窥镜获得的真实内窥镜图像、包括内窥镜检查结果概要的内窥镜检查报告等，并且由服务器执行对内窥镜检查数据库的访问控制。

病理检查系统7也采用已知的计算机系统，并且包括病理检查管理服务器，其中的病理检查数据库中具有与检查ID和患者ID相关的通过病理检查获得的显微镜图像、包括病理检查结果汇总的病理检查报告等，并且由服务器执行对病理检查数据库的访问控制。

每个临床科室系统8包括每个临床科室的管理服务器，其中每个临床科室的数据库中具有每个临床科室独有的与检查ID和患者ID相关的检查数据、检查报告等，并且由每个服务器执行对每个临床科室的数据库的访问控制。每个临床科室独有的检查数据例如在临床科室是心血管科的情况下可以是心电图数据等（波形、数值等），在科室为耳鼻喉科的情况下可以是听觉测试数据等（波形、数值等），或者在科室为眼科的情况下可以是视敏度测试数据、眼底检查数据等（数值等）。

在本实施例中，内窥镜检查系统6和病理检查系统7是与每个临床科室系统8分开的系统，但它们可以集成作为每个临床科室系统8的一部分。在这种情况下，根据每次检查的内容将内窥镜检查和病理检查的信息作为每个临床科室的检查数据进行管理。

本发明的第一实施例是根据在医疗信息显示设备1中执行的表示内窥镜的触摸面板操作来从医疗信息管理服务器2获得内窥镜检查的医疗信息（内窥镜相关信息）并在液晶显示器12上显示该内窥镜检查的医疗信息的实施例。图4是医疗信息显示设备1和医疗信息管理服务器2的框图，其示意性示出了在本文第一实施例中实现的功能。如附图中示出，本发明的医疗信息显示设备1包括患者ID输入用户界面（UI）31、获取条件输入UI32、获取条件确认单元33、医疗信息获取单元35、医疗信息显示控制单元36、和人体图标45。获取条件确认单元33包括内窥镜条件确认单元34。医疗信息显示设备1中示出的患者ID、动作信息、医疗信息获取条件和医疗信息（实际数据）是通过上述每个处理单元被写入到医疗信息显示设备1的主存储器16或辅助存储装置17的预定区域中或从医疗信息显示设备1的主存储器16或辅助存储装置17的预定区域被读取的数据。同时，医疗信息管理服务器2包括医疗信息登记单元51、医疗信息检索单元52和医疗信息数据库53。医疗信息管理服务器2中示出的医疗信息登记条件、医疗信息、医疗信息获取条件、医疗信息（真实数据）是写入到医疗信息管理服务器2的主存储器或辅助存储装置的预定区域或者外部存储装置的数据，或者是从医疗信息管理服务器2的主存储器或辅助存储装置的预定区域或者从外部存储装置读取的数据。

医疗信息数据库53具有这样的数据库结构，在该数据库结构中患者ID、与医疗信息获取条件相对应的索引信息（后面将详细描述）、以及医疗信息的真实数据是相关的。

医疗信息管理服务器2的医疗信息登记单元51以预定时间间隔从在其它系统（电子医疗记录系统4、图像诊断系统5、内窥镜检查系统6、病理检查系统7和每个临床科室系统8）中生成的那些信息中获得满足预定医疗信息登记条件（后面将详细描述）的医疗信息，从所获得的医疗信息中提取患者ID和索引信息，将获得的医疗信息转换成医疗信息数据库53的数据结构，并且在医疗信息数据库53中登记该信息。这使得用于医疗信息显示设备1的显示目标医疗信息累积于医疗信息数据库53中。

图5是示出在本发明第一实施例的医疗信息集成系统3中执行的用于显示医疗信息的处理流程的流程图。从#1至#8的步骤和从#12至#13的步骤受到在医疗信息显示设备1中执行的应用软件的主程序的控制。在下文中，将主要参考图4和图5来描述医疗信息显示处理的整个流程以及由医疗信息显示设备1的每个处理单元和医疗信息管理服务器2的医疗信息检索单元52所执行的独立步骤。

首先，在医疗信息显示设备1中，患者ID输入UI31接收患者ID并将输入的患者ID存储到主存储器16的预定区域（#1）。更具体地，例如使用软键盘系统接收患者ID，在该软键盘系统中键盘或数字小键盘的图像显示在液晶显示器12上并且接收在触摸面板11上的触摸位置处显示的键输入。

接下来，获取条件输入UI32从辅助存储装置17读取人体图标图像45，在液晶显示器12上的预定显示位置处显示该图标（#2），从触摸面板11接收用户在人体图标45上进行的动作输入，并且在主存储器16的预定区域中存储输入的动作信息（#3）。人体图标45是整个人体的图示，如通过示例在图6中所示，并且用于识别身体部位的部位信息与人体图标45的坐标系的每个位置相关。动作信息表示了显示装置的坐标系中的位置信息，并且输出与显示在触摸面板11上的动作轨迹相对应的显示装置的坐标系中的每个位置的信息。

从下一步（即，从步骤#4至步骤#7）的处理在获取条件确认单元33中执行。基于人体图标45的部位信息和从获取条件输入UI32输出的动作信息，获取条件判定单元对从获取条件输入UI32输入的动作输入进行分析，以确认用于获得由该动作所直观表示的检查的医疗信息的医疗信息获取条件。在本实施例中，获取条件确认单元33包括多个单独的条件确认单元，每个条件确认单元对应于待确认的每种类型的动作输入，并且内窥镜条件确认单元34是它们当中的一个。

由于对单独条件确认单元共同进行的预处理，因此基于动作信息和人体图标45的位置信息，获取条件确认单元33首先确认在人体图标45的哪个位置处执行了动作输入。即，动作信息是显示装置的坐标系中的位置信息，而人体图标45的部位信息与人体图标45的坐标系中的位置信息相关，使得获取条件确认单元33使用人体图标45在显示装置的坐标系中的显示位置信息来将两个位置信息转换成相同坐标系中的位置信息。这允许人体图标45上的多个点中的每一个形成将要识别的动作输入。

接下来，基于人体图标45的部位信息和从获取条件输入UI32输出的动作信息，获取条件确认单元33的内窥镜条件确认单元34判定：通过获取条件输入UI32输入的动作是否是将内窥镜插入由人体图标45所表示的人体中的动作（内窥镜动作，图9A、图9B）（#4）。如果输入的动作被判定为内窥镜动作（#4：是），内窥镜条件确认单元34则在主存储器16的预定区域内存储医疗信息获取条件（内窥镜条件）（#5）。具体的内窥镜动作输入和内窥镜条件将在后面详细描述。

如果内窥镜条件确认单元34判定输入的动作不是内窥镜动作（#4：否），则另一个条件确认单元（图未示）以如同内窥镜条件确认单元34中的方式来判定输入的动作是否是除内窥镜动作之外的预定动作（#6）。如果输入的动作被判定为预定动作（#6：是），那么另一个条件确认单元在主存储器16的预定区域中存储用于获得与不同于内窥镜检查的预定动作相对应的检查的医疗信息的医疗信息获取条件（#7）。另一方面，如果输入的动作被判定为不是预定动作（#6：否），则处理返回到从获取条件输入UI32输入新动作的等待状态（#3）。

图5仅显示两种类型的独立的条件确认单元，即内窥镜条件判定单元和另一个条件判定单元，但可以提供三个或更多的独立的条件确认单元。

接下来，医疗信息显示设备1的医疗信息获取单元35将由获取条件确认单元33设定的医疗信息获取条件发送至医疗信息管理服务器2（#8）。医疗信息管理服务器2的医疗信息检索单元52接收来自医疗信息显示设备1的医疗信息获取条件（#9），搜索医疗信息数据库53以提取数据库中的获取条件的索引信息满足接收到的医疗信息获取条件的医疗信息的真实数据（#10），并且将所提取的医疗信息的真实数据发送至医疗信息显示设备1（#11）。医疗信息显示设备1的医疗信息获取单元35接收所发送的医疗信息的真实数据，并且将它们主存储器16的预定区域中或存储在辅助存储装置17中（#12）。然后，医疗信息显示控制单元36基于接收到的医疗信息的真实数据在液晶显示器12上显示该医疗信息（#13）。如果满足医疗信息获取条件的医疗信息没有登记在医疗信息数据库53中，则显示相应通知的信息。

如上所述，在本发明的第一实施例中，当从医疗信息显示设备1的触摸面板11输入在人体图标45上执行的内窥镜动作时，根据内窥镜动作从医疗信息管理服务器2的医疗信息数据库53提取内窥镜相关信息，并且将提取的内窥镜相关信息显示在医疗信息显示设备1的液晶显示器12上。在下文中，将详细描述用于获得内窥镜相关信息的一系列具体处理步骤。在本实施例中，假设：内窥镜相关信息包括根据通过CT等获得的三维体数据而生成的虚拟内窥镜图像和关于虚拟内窥镜图像的图像解释报告，以及通过使用各种类型的内窥镜的检查所获得的真实内窥镜图像、如此检查的报告等。

图7示出医疗信息数据库53的数据结构和在医疗信息数据库53中登记的内窥镜相关信息的具体示例。如图所示，医疗信息数据库53包括患者ID、对应于医疗信息获取条件的索引信息、和真实数据。索引信息包括用于对应该获得医疗信息的动作类型进行确认的动作类型索引和对通过应获得医疗信息的动作所确认的部位进行表示的动作部位索引。因此，医疗信息获取条件还包括动作类型条件和动作部位条件，动作类型条件表示获得目标医疗信息的动作类型索引条件，动作部位条件表示动作部位索引条件。

针对医疗信息的每个收集源系统或数据库提前限定了用于在医疗信息数据库53中登记医疗信息的医疗信息登记条件。根据内窥镜动作提取的内窥镜相关信息的医疗信息登记条件可以包括以下三个条件：在内窥镜检查系统6的内窥镜检查数据库中的所有信息集（条件号1）；具有指示出用于图像诊断系统5的图像数据库的虚拟内窥镜图像的辅助信息的信息（条件号2）；以及与存储在用于图像诊断系统5的图像解释报告数据库的图像数据库中的虚拟内窥镜图像的图像ID相关的信息（条件号3），如图8中所汇总的。这些医疗信息登记条件可以限定作为关于每个登记条件的参考数据或实现为子程序。

医疗信息登记单元51从每个系统收集满足三个医疗信息登记条件之一的医疗信息，并且使用收集到的医疗信息创建将要在医疗信息数据库53中登记的登记数据。更具体地，从收集的医疗信息的每个信息中提取患者ID，并且将患者ID设定到医疗信息数据库53的患者ID项目中。表示内窥镜动作的信息（字符串、代码等；此处使用“内窥镜”）被设定到索引信息的动作类型索引的项目中。从经修正的医疗信息的辅助信息等中提取患者的部位信息，并且将部位信息设定到动作部位索引的项目中。收集的医疗信息的真实数据被设定到真实数据的项目中。然后，在医疗信息数据库53中登记（插入）已创建的登记数据。在图7的具体示例中，信息号1、2、4和5的登记数据是基于图8中条件号1的医疗信息登记条件所登记的数据，信息号3和6的登记数据是基于条件号2的医疗信息登记条件所登记的数据，并且信息号7的登记数据是基于图8中条件号3的医疗信息登记条件所登记的数据。

获取条件输入UI32接收如在图9A和图9B中通过示例所示的内窥镜动作的输入，并且输出其动作信息。图9A示出表示上消化道内窥镜的插入操作的动作输入的示例，其中箭头指示了描绘从人体图标45的嘴或鼻通过食道到达胃或十二指肠的轨迹的动作。图9B示出表示大肠内窥镜的插入操作的动作输入的示例，其中箭头指示了描绘从人体图标45的肛门位置到达直肠或结肠附近的轨迹的动作。

内窥镜条件确认单元34判定输入的动作是否是内窥镜动作，并且如果判定为内窥镜动作，则输出医疗信息获取条件，以便获得对应于该动作的内窥镜相关信息。此处，其中限定了表示多个内窥镜动作模式的信息和针对每个内窥镜动作模式而根据需要设定至医疗信息获取条件部位的信息的参考数据用于对内窥镜动作进行判定。

图10A示出参考数据的第一示例，其中动作的起始点和终点的部位的组合被限定为表示内窥镜动作的参考数据。即，内窥镜条件确认单元34确认输入动作的起始点和终点属于人体图标45的哪个部位，并且如果所确认的起始点和终点的部位组合是参考数据中所限定的组合之一，则判定输入的动作是内窥镜动作。此处，如果输入的动作的起始点在人体图标45之外，则人体图标45最靠近视点的部位或与当从动作的起始点描绘轨迹时输入的动作的轨迹首先与人体图标45相交（接触）的位置相关的部位可视为起始点部位。在图10A所示的示例中，如果输入动作的起始点部位是嘴或鼻且终点部位是食道、胃、十二指肠、小肠、气管和支气管之一，或者如果起始点部位是肛门且终点部位是大肠或小肠，则参考数据被限定成使得输入动作被判定为内窥镜动作。然后，如果输入动作被判定为内窥镜动作，则内窥镜条件确认单元34输出医疗信息获取条件，其中动作类型设定为“内窥镜”且动作部位设定至动作的终点部位。例如，如果输入图9A所示的动作，那么医疗信息获取条件的动作部位是“胃”，而如果输入图9B所示的动作，则医疗信息获取条件的动作部位是“大肠”。

在上述第一示例中，由于未考虑起始点和终点之间的轨迹，因此即使例如描绘嘴→食道→气管→支气管→肺→胃→食道的轨迹的动作也被判定为内窥镜动作。

因此，在图10B所示的参考数据的第二示例中，人体图标45的部位在按照轨迹在动作的起始点和终点之间通过的顺序布置的动作轨迹上的变化图案被定义为参考数据。内窥镜条件确认单元34从起始点顺序地跟踪所输入动作的轨迹上的每个点，以确认每个点处的部位，由此确认所输入动作的轨迹上的部位的变化图案。然后，如果确认的部位变化图案对应于定义在参考数据中的图案，则将动作判定为内窥镜动作。这样，如果输入的是描绘了例如按照嘴或鼻→食道的顺序通过的轨迹的动作，则将该动作判定为内窥镜动作。另一方面，如果输入的是描绘了如上所述按照嘴→食道→气管→支气管→肺→胃→食道顺序通过的轨迹的动作，则判定该动作不是内窥镜动作。如果将输入的动作判定为内窥镜动作，则内窥镜条件确认单元34输出医疗信息获取条件，其中动作类型被设定为“内窥镜”且动作部位被设定到动作的终点部位。

在上述第二示例中，利用所输入动作的轨迹已通过的人体图标45的部位来做出关于所输入动作是否是内窥镜动作的判定，但也可考虑所输入动作的轨迹的图示方向或形状来做出所输入动作是否是内窥镜动作的判定。

图10C示出参考数据的第三示例，其中轨迹形状模型和终点部位的组合被用作参考数据。在示例中，通过将内窥镜动作的轨迹形状分类成口腔或鼻内窥镜（其中从嘴或鼻插入内窥镜）的轨迹形状和经肛内窥镜（其中从肛门插入内窥镜）的轨迹形状而提供两种类型的轨迹形状模型。图11A示意性示出口腔/鼻内窥镜的轨迹形状模型（模型01）。如附图中示出，模型01表示通过向下弯曲而从左或右向下移动的轨迹形状，该轨迹形状包括向左弯曲、向右弯曲以及直线向下移动到轨迹终点附近的部分中的任何一个，其中将直线向下移动的轨迹节段（附图中由“L”指示出的节段）的长度设定为任意值。图11B示意性示出经肛内窥镜的轨迹形状模型（模型02）。如附图中示出，模型02表示通过向上弯曲而从左或右向上移动的轨迹形状，向上移动后对形状没有任何限制。这些形状模型限定了描绘轨迹的方向和形成轨迹的多个点的每个之间的相对位置关系，但是不包括人体图标45上的位置信息。因此，在第三示例中，如果输入动作的形状对应于上述两个形状模型中的任一者，并且动作的终点部位对应于通过进一步使用终点部位信息与参考数据中的轨迹形状模型相关的终点部位，则内窥镜条件确认单元34判定输入的动作为内窥镜动作。例如，如果输入动作的形状对应于口腔/鼻内窥镜的轨迹形状模型，并且动作的终点部位是胃，则将动作判定为内窥镜动作。另一方面，即使在输入动作的形状对应于口腔/鼻内窥镜的轨迹形状模型的情况下，如果终点部位是大肠，则判定动作不是内窥镜动作，因为不存在口腔/鼻大肠内窥镜并且这样的轨迹模型和终点部位的组合没有被定义在参考数据中。同样在第三示例中，如果输入的动作被判定为内窥镜动作，则内窥镜条件确认单元34输出医疗信息获取条件，其中动作类型被设定为“内窥镜”且动作部位设定为动作的终点部位。通过用于字符识别和指纹识别的任何已知图案识别技术对输入动作的特征量与轨迹模型的特征量之间的一致程度（相似性）进行计算来做出关于输入的动作是否匹配轨迹形状模型的判定，如果计算出的一致程度（相似性）大于或者等于预定阈值，则可以说它们是匹配的（例如，在日本未审查专利公开No.8（1996）-083318中所述）。

上述三个示例基于部位信息与人体图标45的每个位置相关的假设，但与此不同的是，可以使用由表示每个部位存在的坐标值范围的信息替换图10A至图10C的部位名称的参考数据。图10D示出参考数据的第四示例，并且示出了通过坐标值范围表示图10B的参考数据的轨迹上的部位的变化图案的情况。在这种情况下，内窥镜条件确认单元34例如从动作的起始点顺序地搜索输入动作的轨迹上的每个点，如果坐标值从对应于嘴或鼻的坐标值范围中的值变化到对应于食道的坐标值范围中的值并且搜索点在对应于食道的坐标值范围中到达动作的终点，则判定动作为内窥镜动作。在这种情况下，由于部位信息与人体图标45的每个位置不相关，因此不能识别出动作的终点位置处于食道的一部分中。因此，在这种情况下，有必要使动作的终点部位（即，医疗信息获取条件的部位信息）与参考数据中每个轨迹上的坐标值范围的变化图案相关。当输入的动作被判定为内窥镜动作时，这允许内窥镜条件确认单元34将医疗信息获取条件的动作类型设定为“内窥镜”，然后从参考数据获得与内窥镜动作的轨迹上的坐标值范围的变化图案相关的医疗信息获取条件的动作部位信息来作为医疗信息获取条件的动作部位，并且输出对应于输入动作的医疗信息获取条件。同样对于图10A和10C，通过坐标值范围可以限定动作的起始点部位和终点部位，并且可以以如上所述的相同方式使用其中的医疗信息获取条件的部位信息被相关的参考数据。

图10E示出用于判定内窥镜动作的参考数据的第五示例，其中列出了轨迹形状/位置模型，通过轨迹形状并接合人体图标45上的位置为每个轨迹形状/位置模型进行建模。即，可以说图9A和图9B的轨迹形状/位置模型直接建模而成。例如，对应于图9A的轨迹形状/位置模型可以变成表示从左或右进入人体图标45的嘴或鼻、向下弯曲通过食道并到达胃的轨迹的模型。以上述方式建模需要根据内窥镜类型和图10E中列出的轨迹形状/位置模型中的通过示例所示的到达位置的模型。如果输入动作的形状和位置与图10E所示的轨迹形状/位置模型中的任一个相匹配，则内窥镜条件确认单元34判定输入的动作为内窥镜动作。对于该判定，可以使用任何已知图案识别技术，如第三示例。此外，在该示例中，当判定动作是否是内窥镜动作时，终点部位未确认，并且相反，医疗信息获取条件的部位信息与参考数据中每个轨迹形状/位置模型相关。因此，当输入动作被判定为内窥镜动作时，内窥镜条件确认单元34从参考数据获得与输入动作匹配的轨迹形状/位置模型的相关部位，将动作类型设定为“内窥镜”，并且输出医疗信息获取条件，其中动作部位为所获得的部位。需要注意的是可以采用参考数据不包括医疗信息获取条件的部位信息的配置，并且当输出医疗信息获取条件时确认对应于输入动作终点的人体图标45的部位，且将所确认的部位输出作为医疗信息获取条件的部位信息。

此外，在图10E的示例中，需要增加数量的模型，因为一个模型不仅包括形状信息而且包括位置信息。因此，可以采用动作的起始点部位包括在参考数据中的配置，并且内窥镜条件确认单元34在执行图案识别之前确认输入动作的起始点部位，且仅针对与参考数据中的部位相关的轨迹形状/位置模型来执行图案识别，如图10F所示。例如，在输入动作的起始点部位是嘴且参考数据为图10F所示的那些的情况下，可以仅针对起始点部位是嘴的模型11至16执行图案识别，而如果输入动作的起始点部位是肛门，则可以仅针对图10F的参考数据中起始点部位是肛门的模型17和18执行图案识别。如上所述，动作的起始点部位的信息包括在参考数据中允许了需要利用输入动作的起始点部位进行图案识别的轨迹形状/位置模型的数量得以减少，由此可以减小处理负荷。

医疗信息管理服务器2的医疗信息检索单元52从医疗信息显示设备1的医疗信息获取单元35接收按照上述方式设定的医疗信息获取条件，并且提取满足接收到的医疗信息获取条件的医疗信息，即，来自医疗信息数据库53的内窥镜相关信息。例如，在图7所示的医疗信息存储在医疗信息数据库53中、输入图9A所示的内窥镜动作、以及“012345”作为患者ID的情况下，那么在医疗信息显示设备1中，将下面内容设定到医疗信息获取条件：“012345”作为患者ID、“内窥镜”作为动作类型、以及“胃”作为动作部位，而且将医疗信息获取条件发送到医疗信息管理服务器2。此处，医疗信息检索单元52提取索引信息满足医疗信息获取条件的信息号1的医疗信息，并且将所提取的信息发送到医疗信息显示设备1。同时，在输入上述患者ID和图9B所示的内窥镜动作的情况下，将下面内容设定到医疗信息获取条件：“012345”作为患者ID、“内窥镜”作为动作类型、以及“大肠”作为动作部位，而且将医疗信息获取条件发送到医疗信息管理服务器2。此处，医疗信息检索单元52提取索引信息满足医疗信息获取条件的信息号3的医疗信息，并且将所提取的信息发送到医疗信息显示设备1。在医疗信息显示设备1中，医疗信息获取单元35获得所发送的医疗信息，并且医疗信息显示控制单元36在液晶显示器12上显示获得的医疗信息。

如上所述，根据本发明的第一实施例，内窥镜条件确认单元34可以识别通过获取条件输入UI32从触摸面板11输入的且表示了内窥镜操作的非常直观且简单的动作操作。然后，在识别出表示内窥镜操作的动作的情况下，医疗信息获取单元35可以从医疗信息管理服务器2的医疗信息数据库53获得内窥镜相关信息，并且医疗信息显示控制单元36可以在液晶显示器12上显示所获得的内窥镜相关信息。这样，用户可以仅通过在医疗信息显示设备1的触摸面板11上执行内窥镜动作操作这一单一动作而对期望部位的内窥镜相关信息进行显示。此处，例如，即使当虚拟内窥镜图像和表示相同部位的横截面图像都登记在医疗信息数据库53中时，也要显示虚拟内窥镜图像。这样，本发明的医疗信息显示设备1具有非常高的操作性和高实践价值。

在第一实施例的情况下，首先，获取条件确认单元33分析输入动作以确认医疗信息获取条件，然后执行用于从医疗信息管理服务器2获得医疗信息的处理。对于医疗信息显示设备1的用户而言，这可能会导致从动作的完成到医疗信息的显示的等待时间延长，由此可能降低可操作性。

因此，在本发明的第二实施例中，尽管在接收患者ID之后接收动作输入，然而根据输入的患者ID的医疗信息将在后台提前获得。

图12是根据本发明第二实施例的医疗信息显示设备1和医疗信息管理服务器2的功能框图。如附图中示出，本实施例配置成：将医疗信息预先获取单元37增加至第一实施例的医疗信息显示设备1，并且第一实施例的医疗信息获取单元35被医疗信息提取单元38取代。图13是示出在本发明第二实施例的医疗信息集成系统3中执行的用于显示医疗信息的处理流程的流程图。

如图所示，在如第一实施例中由患者ID输入UI31接收患者ID的输入之后（#21），医疗信息预先获得单元37将仅设定了输入的患者ID的医疗信息获取条件发送到医疗信息管理服务器2作为后台处理（#28）。医疗信息管理服务器2的医疗信息检索单元52接收医疗信息获取条件（仅患者ID）（#29），然后搜索医疗信息数据库53，并且提取数据库中与接收到的医疗信息获取条件的患者ID匹配的具有患者ID的医疗信息（#30）。此处，提取对应于医疗信息获取条件的医疗信息的真实数据以及索引信息。医疗信息检索单元52将提取的医疗信息发送到医疗信息显示设备1（#31）。医疗信息显示设备1的医疗信息预先获得单元37接收发送来的医疗信息，并且将该信息存储在辅助存储装置17或主存储器16的预定区域（#32）。

同时，虽然由医疗信息预先获得单元37执行上述处理，但是在医疗信息显示设备1中执行接收动作输入和根据动作设定医疗信息获取条件的步骤（#22至#27），如第一实施例的步骤#2至#7。

基于根据输入动作设定的医疗信息获取条件和由医疗信息预先获得单元37获得的医疗信息的索引信息，由医疗信息提取单元38从预先获得的医疗信息中提取满足医疗信息获取条件的医疗信息（#33）。然后，基于提取的医疗信息的真实数据，医疗信息显示控制单元36在液晶显示器12上显示医疗信息（#34）。

如上所述，在本发明的第二实施例中，医疗信息预先获得单元37从医疗信息管理服务器2的医疗信息数据库53预先获得与通过患者ID输入UI31输入的患者ID相关的医疗信息，该步骤并行于通过获取条件输入UI32接收动作输入的步骤以及通过医疗信息显示设备1中的获取条件确认单元33确认医疗信息获取条件的步骤。当根据输入动作获得满足医疗信息条件的医疗信息时，这消除了进入医疗信息管理服务器2的医疗信息数据库53的需要。医疗信息显示设备1的用户没有必要等待医疗信息管理服务器2执行的检索操作以及医疗信息显示设备1与医疗信息管理服务器2之间的通信，因此，从用户的角度出发增加了通量，并且可操作性增强。即使当医疗信息管理服务器2和网络9具有高负荷或低性能时，该实施例也能通过预先获得医疗信息而减轻其影响。

本发明的第三实施例改善了在提取满足医疗信息获取条件的多组医疗信息的情况下的可操作性。

图14是根据本发明第三实施例的医疗信息显示设备1和医疗信息管理服务器2的功能框图。如附图中示出，本实施例配置成：将医疗信息选择UI39增加到上述第二实施例的医疗信息显示设备1。此外，医疗信息数据库53具有将选择列表信息增加到的第一实施例的数据结构的数据结构，如图16进一步细化。在图16所示的示例中，选择列表信息包括检查日期和时间、检查类型和信息类型。信息的这些项目可以由医疗信息登记单元51从登记目标医疗信息的源系统的名称或源数据库的名称、登记目标医疗信息的辅助信息等中提取。

图15A和图15B示出流程图，其说明在本发明第三实施例的医疗信息集成系统3中执行的用于显示医疗信息的处理流程。如附图中示出，步骤#41至#53与第二实施例中的步骤#21至#33一致。

在步骤#53中，如果医疗信息提取单元38仅提取满足医疗信息获取条件的一组医疗信息（#54；否），则医疗信息显示控制单元36基于医疗信息的真实数据在液晶显示器12上显示提取的医疗信息（#57）。另一方面，如果由医疗信息提取单元38提取多组医疗信息（#54；是），则医疗信息选择UI39在液晶显示器12上显示医疗信息选择屏幕（#55）。图17A通过示例示出医疗信息选择屏幕。该屏幕示出这种情况：由医疗信息预先获得单元37从通过示例示于图16中的医疗信息数据库53中获得满足患者ID=“001098”的多组医疗信息；并且由医疗信息提取单元38提取满足动作类型=“内窥镜”且动作部位=“大肠”的多组医疗信息。医疗信息选择UI39显示提取的多组医疗信息的列表以供选择。然后，医疗信息选择UI39接收对表示用户期望的医疗信息的行的选择（#56）。图17B通过示例示出视觉上更有效的医疗信息选择屏幕。如附图中示出，关于医疗信息选择屏幕中的每个检查类型，信息类型是图像的医疗信息被显示为缩略图。此外，信息类型是报告的医疗信息在与报告目标相关的医疗信息（图像）的右下处显示为表示报告的图标。更进一步地，每组医疗信息配置成：水平轴线方向作为基于选择列表信息的检查日期和时间信息的时间轴线。在示例屏幕中，医疗信息选择UI39接收表示对医疗信息的缩略图像或用户期望图标的选择（触摸操作）。然后，医疗信息显示控制单元36基于医疗信息的真实数据在液晶显示器12上显示所选择的医疗信息（#57）。

如上所述，在本发明的第三实施例中，如果医疗信息显示设备1的医疗信息提取单元38提取了满足由获取条件确认单元33确认的医疗信息获取条件的多组医疗信息，则医疗信息选择UI39接收对将要显示的医疗信息的选择，使得用户可以通过简单的触摸操作来显示期望的医疗信息，由此进一步增强可操作性。

在上述实施例的每一个中，由图像诊断系统5预先生成的虚拟内窥镜图像被用作医疗信息。相比之下，本发明的第四实施例更加交互地显示与医疗信息相关的内窥镜。

图18是本发明第四实施例的医疗信息显示设备1和医疗信息管理服务器2的功能框图。如附图中示出，本实施例配置成：将内窥镜图像显示模式选择UI40和虚拟内窥镜图像生成单元41增加到上述第三实施例的医疗信息显示设备1。

此外，医疗信息数据库53的数据结构为：用物理治疗设备类型替换第三实施例的数据结构中的选择列表信息的检查类型，如图20所细化。物理治疗设备类型的项目包括表示已获得医疗信息（图像）的物理治疗设备的物理治疗设备类型。可以由医疗信息登记单元51从登记目标医疗信息的源系统的名称或源数据库的名称、登记目标医疗信息的辅助信息等中提取这些物理治疗设备类型。在本实施例中，通过CT获得的体数据（附图中的CT图像）被存储作为医疗信息的真实数据，而不是虚拟内窥镜图像。即，在本实施例中，医疗信息登记单元51在图像诊断系统5的图像数据库中登记具有表明CT图像的辅助信息的医疗信息，而不是具有图8中的条件号2的医疗信息。此外，在本实施例中，假设表示真实内窥镜图像的医疗信息包括表示患者位置和真实内窥镜图像的成像方向的辅助信息。

图19A和图19B示出流程图，其说明在本发明第四实施例的医疗信息集成系统3中执行的用于显示医疗信息的处理流程。如附图中示出，步骤#61至#74与第三实施例中的步骤#41至#54一致。

如果由医疗信息提取单元38提取多组医疗信息（#74；是），并且如果通过获取条件输入UI32输入的动作是内窥镜图像且CT图像包括在由医疗信息提取单元38提取的多组医疗信息中（如果出现了选择列表信息中的具有物理治疗设备类型“CT”和信息类型“图像”的医疗信息），那么医疗信息选择UI39和内窥镜图像显示模式选择UI40在液晶显示器12上显示医疗信息选择/内窥镜图像显示模式选择屏幕（#76）。图21通过示例示出医疗信息选择/内窥镜图像显示模式选择屏幕。如附图中示出，该示例屏幕配置成：将用于接收内窥镜图像显示模式的“同时显示真实和虚拟内窥镜图像”的复选框增加到图17A中的示例屏幕的底部处。医疗信息选择/内窥镜图像显示模式选择屏幕例如可以是具有上述用于接收对内窥镜图像显示模式进行选择的复选框的图17B中的示例屏幕。

然后，如第三实施例，医疗信息选择UI39接收表示用户期望的医疗信息的行选择（触摸操作）（#57），并且内窥镜图像显示模式选择UI40接收对用户期望的内窥镜图像显示模式的选择（复选框上的触摸操作）（#77）。

如果没有选择表示CT图像的医疗信息（#78；否），则医疗信息显示控制单元36基于医疗信息的真实数据在液晶显示器12上显示通过医疗信息选择UI39选择的医疗信息，如第三实施例（#85）。相比之下，如果选择了表示CT图像的医疗信息（#78；是），则判定内窥镜图像显示模式选择UI40是否接收到真实和虚拟内窥镜图像的同时显示的选择。

作为判定的结果，如果未选择同时显示（#79；否），则虚拟内窥镜图像生成单元41基于预定图像生成条件根据作为通过医疗信息选择UI39选择的医疗信息的CT图像来生成虚拟内窥镜图像（#82）。然后，医疗信息显示控制单元36在液晶显示器12上显示生成的虚拟内窥镜图像（#85）。此处，可以采用其中具有用于接收对虚拟内窥镜图像的生成条件（位置、成像方向、颜色模板等）的设置的用户界面的配置，并且基于所确定的生成条件生成虚拟内窥镜图像。

同时，如果选择同时显示（#79；是），则虚拟内窥镜图像生成单元41从表示通过医疗信息选择UI39选择的真实内窥镜图像的医疗信息的真实数据中获得表示真实内窥镜图像的患者位置和成像方向的辅助信息，并且确认CT图像中的位置和成像方向（#80）。虚拟内窥镜图像生成单元41基于确认的位置和成像方向根据通过医疗信息选择UI39选择的CT图像来生成虚拟内窥镜图像（#81）。然后，医疗信息显示控制单元36在液晶显示器12上同时显示通过医疗信息选择UI39选择的真实内窥镜图像和由虚拟内窥镜图像生成单元41生成的虚拟内窥镜图像（#85）。

通过设置给定位置作为视点、设置从视场角的给定范围内的视点放射状延伸的多个视线使得给定成像方向对应于视场的中心方向、并且通过基于已知中心投影的体绘制在每个视线上投影像素值，虚拟内窥镜图像生成单元41生成虚拟内窥镜图像。

作为用于使真实内窥镜图像和虚拟内窥镜图像（CT图像）之间的位置和成像方向相关的具体示例方法，可以引述下面内容。在通过内窥镜路径上距内窥镜插入位置的长度来表示在患者体内获得真实内窥镜图像的位置的情况下，虚拟内窥镜图像生成单元41可以通过已知的图像识别算法首先从CT图像检测内窥镜插入路径（例如，在大肠的情况下、大肠芯线）和对应于真实内窥镜插入位置的位置。然后，位置从对应于真实内窥镜插入位置的位置在CT图像中的内窥镜插入路径上行进了一段长度（对应于从真实内窥镜插入位置到已获得真实内窥镜图像的位置的长度），并且获得的位置可以判定为虚拟内窥镜图像将要生成的位置。另外，在真实内窥镜检查时的坐标系与CT图像的坐标系之间的关系已知的情况下，可以基于该关系通过坐标转换计算出与已获得真实内窥镜图像的位置相对应的CT图像中的位置，即，将要生成虚拟内窥镜图像的位置（例如，在日本未审查专利公开No.2006-198032中所述）。

图22A至图22D示出真实和虚拟内窥镜图像的同时显示的具体示例。图22A示出通过上述已知方法获得的处于彼此对应位置的真实内窥镜图像（左）和虚拟内窥镜图像（右）被并排显示的示例。图22B示出从外部观察的作为显示目标部位的动作部位（此处，大肠）的体绘制图像（下文中，“外观图像”）提前生成的示例，然后除外观图像之外还显示了处于彼此对应位置的真实内窥镜图像（左）和虚拟内窥镜图像（右），另外，指示对应位置的箭头显示在外观图像中。图22C示出了虚拟内窥镜图像生成单元41生成在与已获得真实内窥镜图像的位置相对应的位置处的表示沿着内窥镜的行进方向的横截面的横截面图像的示例，并且生成的横截面图像（右）和真实内窥镜图像并排显示。需要注意的是：横截面图像中的箭头表示上述对应位置。图22D示出示例，在该示例中真实内窥镜图像（内圆中）和虚拟内窥镜图像（外矩形中）显示为在彼此上方重叠使得上述对应位置彼此一致。

如上所述，在本发明的第四实施例中，医疗信息登记单元51在医疗信息数据库53中登记CT图像、用于生成虚拟内窥镜图像的源数据，而不是先前生成的虚拟内窥镜图像，并且如果CT图像选择作为显示目标医疗信息，则虚拟内窥镜图像生成单元41根据给定条件生成虚拟内窥镜图像。这允许从各个位置和方向观察的虚拟内窥镜图像，从而将灵活地生成和显示。

此外，可以通过内窥镜图像显示模式选择UI40做出对真实和虚拟内窥镜图像的同时显示的选择，使得处于对应位置处的真实和虚拟内窥镜图像的同时显示是可能的。这样，在本发明的第四实施例中，通过以更交互的形式显示内窥镜相关医疗信息而使更多响应于用户需求的图像显示成为可能。

上述第四实施例中的虚拟内窥镜图像生成单元41设置在医疗信息显示设备1中，但可以采用虚拟内窥镜图像生成单元41设置在经由网络9与医疗信息显示设备1通信的独立设备中的配置（例如，上述诸如医疗信息管理服务器2等服务器之一，或独立设置的图像处理服务器）。然后，由医疗信息显示设备1将用于生成虚拟内窥镜图像的条件发送至该设备，通过该设备根据接收到的条件生成虚拟内窥镜图像，并且使生成的虚拟内窥镜图像返回至医疗信息显示设备1。

此外，可以采用不提供虚拟内窥镜图像生成单元41的配置，如第一至第三实施例中获得先前生成的虚拟内窥镜图像，并且根据内窥镜图像显示模式选择UI40接收到的选择使获得的虚拟内窥镜图像与真实内窥镜图像同时显示。特别地，在与已获得真实内窥镜图像的位置相对应的位置处已经生成虚拟内窥镜图像的情况下，可以更有效地使用先前生成的虚拟内窥镜图像。

提供上述每个实施例仅用于说明性目的，并且上面所有的解释说明不应用于限制本发明的技术范围。此外，在不背离本发明的精神的前提下对系统配置、硬件配置、处理流程、模型配置、用户界面、具体处理内容等做出的各种变化和修改包括在本发明的技术范围内。

例如，每个实施例的特性配置可以根据情况而进行组合以产生新的实施例。更具体地，本发明第三实施例的医疗信息选择UI39可以增加至第一实施例，或者第四实施例的内窥镜图像显示模式选择UI40和虚拟内窥镜图像生成单元41可以增加至第一或第二实施例。

此外，在医疗信息的真实数据还登记在每个实施例的医疗信息数据库53中的情况下进行描述。但是，可以采用如下配置：取代医疗信息的真实数据，用于获取真实数据的链接信息（地址信息）登记在数据库53中并且将要使用存储在真实数据的源系统的数据库中的真实数据（通过将超链接目的地设置到数据的源系统的数据库），并且仅当变为显示目标时可以基于链接信息获得真实数据。

在上述实施例中，提供用于整体地管理医疗信息的医疗信息管理服务器2，并且医疗信息显示设备1从医疗信息管理服务器2的医疗信息数据库53获得医疗信息。但是可以采用从诸如图像诊断系统5、内窥镜检查系统6等的其它系统的每一个中直接获得医疗信息的配置。

此外，医疗信息显示设备1可以包括医疗信息数据库53。在这种情况下，它仅需要提供医疗信息获取单元35或医疗信息预先获得单元37中的医疗信息检索单元52的功能。

在上述实施例中，在医疗信息显示设备1如图2所示为便携式装置的情况下进行描述，但它可以是具有液晶显示器（具有触摸面板）和计算机主体的桌面装置。

此外，根据内窥镜动作显示的医疗信息（图像）可以是运动图像，而不是静止图像。可以采用如下配置：当例如基于图10B中的参考数据识别动作轨迹上的部位的变化图案时，从医疗信息数据库53获得顺序地表示轨迹上每个部位的真实或虚拟内窥镜运动图像。或者，可以采用如下配置：从医疗信息数据库53获得诸如CT图像等之类的体数据，并且在医疗信息显示设备中生成虚拟内窥镜运动图像。

更进一步地，可以采用如下配置：当如上所述识别动作轨迹上的部位的变化图案时，从医疗信息数据库53获得顺序地表示轨迹上每个部位的真实或虚拟内窥镜运动图像，并且通过与第三实施例的一样的用户界面选择用户期望的部位的真实或虚拟内窥镜图像（图17A、17B）。或者，可以采用如下配置：如第四实施例中从医疗信息数据库53获得CT图像数据，而不是虚拟内窥镜图像，并且基于获得的CT图像数据生成通过上述用户界面选择的部位的虚拟内窥镜图像。此外，可以采用如下配置：同样通过上述用户界面在静止和运动图像之间做出选择。

Claims (18)

1.一种医疗信息显示设备，包括：

显示装置，其用于显示给定信息；

动作输入装置，其用于检测在所述显示装置的显示表面上执行的动作操作，并且输出表示检测到的动作操作内容的动作信息；

第一显示控制装置，其用于在所述显示装置的预定显示位置处显示表示对象外观的对象外观图像；

获取条件确认装置，其用于基于在显示所述对象外观图像时根据所述动作输入装置检测到的动作操作而输出的动作信息以及所述对象外观图像的显示位置信息来确认用于获取关于所述对象的医疗信息的医疗信息获取条件；

医疗信息获取装置，其用于从存储有多组医疗信息的医疗信息存储装置中选择性地获取满足所确认的医疗信息获取条件的医疗信息；以及

第二显示控制装置，其用于在所述显示装置上显示所获取的医疗信息，

其中，所述获取条件确认装置包括内窥镜条件确认装置，当所述对象外观图像的显示位置信息和包括在根据显示对象外观图像时的动作操作而输出的动作信息中的、并且表示动作操作轨迹的动作轨迹信息满足表示将内窥镜插入到由所述对象外观图像所表示的对象中的插入操作的内窥镜动作条件时，所述内窥镜条件确认装置对用于获取关于所述对象的实际和/或虚拟内窥镜检查的医疗信息的医疗信息获取条件进行确认。

2.根据权利要求1所述的医疗信息显示设备，其中，所述对象外观图像是示意性表示所述对象的图像。

3.根据权利要求1或2所述的医疗信息显示设备，其中，所述内窥镜条件确认装置是这样的装置：其识别与在所述对象外观图像所表示的对象上的动作操作轨迹的起始点靠近的位置，并且判定是否满足所述内窥镜动作条件，并且/或者基于识别出的位置来确认所述医疗信息获取条件。

4.根据权利要求1至4中任一项所述的医疗信息显示设备，其中，所述内窥镜条件确认装置是这样的装置：其识别在所述对象外观图像所表示的对象上的动作终点的位置，并且判定是否满足所述内窥镜动作条件，并且/或者基于识别出的位置来确认所述医疗信息获取条件。

5.根据权利要求1至4中任一项所述的医疗信息显示设备，其中，所述内窥镜条件确认装置是这样的装置：其识别通过作为在由所述对象外观图像表示的对象上的动作的多个点的位置的位置的轨迹，并且判定是否满足所述内窥镜动作条件，并且/或者基于通过了多个位置的所述轨迹来确认所述医疗信息获取条件。

6.根据权利要求3至5中任一项所述的医疗信息显示设备，其中，所述对象外观图像是这样的图像：其中用于确认所述对象的部位的部位确认信息与所述图像的每个位置的位置信息相关。

7.根据权利要求1至6中任一项所述的医疗信息显示设备，其中，所述内窥镜条件确认装置是这样的装置：其识别所述动作的形状，并且判定是否满足所述内窥镜动作条件，并且/或者基于所述形状来确认所述医疗信息获取条件。

8.根据权利要求1至7中任一项所述的医疗信息显示设备，其中，如果由所述医疗信息获取装置获取了利用实际内窥镜成像而形成的真实内窥镜图像以及根据所述对象的三维医疗图像重新构建而成的、且表示从所述对象体腔内的给定位置观察到的所述对象体腔的虚拟内窥镜图像来作为满足所述用于获取关于内窥镜检查的医疗信息的医疗信息获取条件的医疗信息，则所述显示控制装置是同时显示所述真实内窥镜图像和虚拟内窥镜图像的装置。

9.根据权利要求8所述的医疗信息显示设备，其中：

所述设备还包括选择接收装置，当所述医疗信息获取装置获取了所述真实内窥镜图像和虚拟内窥镜图像时，所述选择接收装置接收关于是否使所述显示控制装置同时显示所述真实内窥镜图像和虚拟内窥镜图像的选择；并且

在所述选择接收装置接收到指示同时显示的选择的情况下，所述第二显示控制装置是同时显示所述真实内窥镜图像和虚拟内窥镜图像的装置。

10.根据权利要求1至9中任一项所述的医疗信息显示设备，其中：

所述设备还包括图像处理装置，在所述医疗信息获取装置从所述医疗信息存储装置获取了表示所述对象的医疗图像的情况下，所述图像处理装置根据需要对所获取的医疗图像执行预定图像处理；并且

如果所述医疗信息获取装置获取了表示所述对象的三维医疗图像来作为满足了用于获取关于所述虚拟内窥镜检查的医疗信息的所述医疗信息获取条件的医疗信息，则所述图像处理装置是基于所述三维医疗图像来生成从所述对象体腔内的给定位置观察到的、且表示所述体腔的虚拟内窥镜图像的装置，并且所述显示控制装置是显示所生成的虚拟内窥镜图像的装置。

11.根据权利要求1至10中任一项所述的医疗信息显示设备，其中：

所述设备还包括第二选择接收装置，在所述医疗信息获取装置获取了满足所述医疗信息获取条件的多组医疗信息的情况下，所述第二选择接收装置在所述显示装置上列表显示所述多组医疗信息并且接收对显示目标医疗信息的选择；并且

所述第二显示控制装置是显示由所述第二选择接收装置选择的医疗信息的装置。

12.根据权利要求11所述的医疗信息显示设备，其中，所述多组医疗信息表示在不同时间进行的检查。

13.根据权利要求11或12所述的医疗信息显示设备，其中，所述多组医疗信息表示对所述对象的不同部位的检查。

14.根据权利要求11至13中任一项所述的医疗信息显示设备，其中，当进行列表显示时，所述第二选择接收装置是以缩略图或图标的形式显示所述多组医疗信息的装置。

15.一种医疗信息显示系统，其中用于基于给定医疗信息获取条件选择性地提供对象的医疗信息的医疗信息供给设备和用于显示所述医疗信息的医疗信息显示设备经由网络通信链接，其中，所述医疗信息显示设备包括：

显示装置，其用于显示给定信息；

动作输入装置，其用于检测在所述显示装置的显示表面上执行的动作的输入，并且输出表示在所述显示表面上检测到的动作的位置的动作位置信息；

获取条件确认装置，其用于在所述显示装置上显示表示对象外观的对象外观图像，在显示所述对象外观图像时使所述动作输入装置接收动作输入，并且基于根据动作输入而输出的动作位置信息和所述对象外观图像在所述显示表面上的位置来确认用于获取所述对象的医疗信息的医疗信息获取条件；

医疗信息获取装置，其用于从所述医疗信息供给设备获取满足所确认的医疗信息获取条件的医疗信息；以及

显示控制装置，其用于在所述显示装置上显示所获取的医疗信息，

其中，所述获取条件确认装置包括内窥镜条件确认装置，所述内窥镜条件确认装置用于识别表示内窥镜在所述对象外观图像所表示的对象中的插入路径的内窥镜动作，并且如果识别出所述内窥镜动作，则所述内窥镜条件确认装置对用于获取所述对象的实际和/或虚拟内窥镜检查的医疗信息的医疗信息获取条件进行确认。

16.根据权利要求15所述的医疗信息显示系统，其中，所述医疗信息供给设备包括：

医疗信息存储装置，其以允许基于给定的医疗信息获取条件选择医疗信息的数据结构来对多组医疗信息进行存储；

获取条件接收装置，其用于从所述医疗信息显示设备接收医疗信息获取条件；

医疗信息检索装置，其用于从所述医疗信息存储装置获取满足接收到的医疗信息获取条件的医疗信息；以及

医疗信息发送装置，其用于将所获取的医疗信息发送至已发送了所述医疗信息获取条件的所述医疗信息显示设备。

17.一种医疗信息显示方法，包括：

在显示装置上显示表示对象外观的对象外观图像的步骤；

接收动作的输入并且输出动作位置信息的步骤，所述动作是在显示所述对象外观图像时在所述显示装置的显示表面上执行的，并且所述动作位置信息表示所述输入的动作在所述显示表面上的位置；

基于输出的动作位置信息和所述对象外观图像在所述显示表面上的位置来确认用于获取所述对象的医疗信息的医疗信息获取条件的步骤；

从存储有多组医疗信息的医疗信息存储装置中选择性地获取满足所确认的医疗信息获取条件的医疗信息的步骤；以及

显示所获取的医疗信息的步骤，

其中，确认医疗信息获取条件的步骤包括如下步骤：识别表示内窥镜在所述对象外观图像所表示的对象中的插入路径的内窥镜动作，并且如果识别出所述内窥镜动作，则确认用于获取所述对象的实际和/或虚拟内窥镜检查的医疗信息的医疗信息获取条件。

18.一种用于使计算机执行以下步骤的医疗信息显示控制程序：

在显示装置上显示表示对象外观的对象外观图像的步骤；

接收动作的输入并且输出动作位置信息的步骤，所述动作是在显示所述对象外观图像时在所述显示装置的显示表面上执行的，并且所述动作位置信息表示所述输入的动作在所述显示表面上的位置；

基于输出的动作位置信息和所述对象外观图像在所述显示表面上的位置来确认用于获取所述对象的医疗信息的医疗信息获取条件的步骤；

从存储有多组医疗信息的医疗信息存储装置中选择性地获取满足所确认的医疗信息获取条件的医疗信息的步骤；以及

显示所获取的医疗信息的步骤，

其中，在确认医疗信息获取条件的所述步骤中，所述程序使所述计算机执行如下步骤：识别表示了内窥镜在所述对象外观图像所表示的对象中的插入路径的内窥镜动作，并且如果识别出所述内窥镜动作，则确认用于获取所述对象的实际和/或虚拟内窥镜检查的医疗信息的医疗信息获取条件。

Images