CN113496770A - 信息集成装置 - Google Patents

Abstract

本公开提供一种可简便地共享以及记录注释的技术，该注释是使用者对从医疗用设备获取的且显示在画面上的信息进行的注释。本公开的信息集成装置具有信息存储部、主图像生成部、对象指定部、注释输入部、信息生成部、以及注释图像生成部。

Description

信息集成装置

技术领域

本公开涉及对从手术或治疗中使用的医疗设备获取的医疗信息进行显示的技术。

背景技术

日本特开2015-185125号公报记载了如下医疗信息系统，该医疗信息系统从手术或治疗中使用的多个医疗设备获取医疗信息，然后将该多个医疗信息集成并显示在画面上。

发明内容

这种系统用于手术中的实时探讨以及支援、手术后的手术分析、研讨会等的回顾、事故调查、教育用途等。此时，要求能够在相关人员之间对各种信息进行简单的共享。作为共享的信息，可以列举手术中作出判断的内容、手术中接受的支援的内容、针对各医疗设备的设定变更或测量值的变化进行的注释、在手术中察觉到的状况或手术后进行回顾时察觉到的状况等、用于教育以及用于制作学会发表的资料等所需的各种信息。

本公开的一个方面期望提供一种可简便地对注释加以共享以及记录的技术，该注释是使用者针对从医疗用设备获取的且显示在画面上的信息进行的注释。

本公开的一个方面涉及一种信息集成装置，其包括信息存储部、主图像生成部、对象指定部、注释输入部、信息生成部、以及注释图像生成部。

信息存储部构成为,储存从用于患者治疗的多个医疗用设备获取的设备信息。设备信息与第1标签信息建立关联并被加以储存，其中，该第1标签信息包含表示获取到该设备信息的时刻以及设备信息的种类的信息。

主图像生成部构成为，抽取储存在信息存储部的多个设备信息中的与同一时间建立对应的一种以上的设备信息，并生成主图像数据，其中，主图像数据是用于在一个画面上显示所抽取的设备信息的图像数据。

对象指定部构成为，对根据主图像数据而显示的显示图像中的注释对象进行指定。注释输入部构成为输入注释信息，注释信息是与由对象指定部指定的注释对象建立关联的信息。

信息生成部构成为，使通过注释输入部输入的注释信息与第2标签信息建立关联并将已建立关联的注释信息和第2标签信息储存到信息存储部，其中，第2标签信息包含用于确定由对象指定部指定的注释对象的信息。

注释图像生成部构成为，在根据主图像数据而显示的图像即主图像中包含注释对象的情况下，注释图像生成部从信息存储部抽取与该注释对象相对应的注释信息，并生成注释图像数据，其中，注释图像数据是用于使所抽取的注释信息与主图像中的注释对象建立关联而加以显示的图像数据。

根据上述构成，能够将无法从设备信息本身读取的信息等作为注释信息而简单地加以保留。并且，使该注释信息与所对应的设备信息建立关联而加以显示，因此，显示画面的观看者可明确地把握注释对象。

附图说明

图1是示出信息集成装置的构成的框图。

图2是示出信息集成装置的功能的功能框图。

图3是示出带有标签的设备信息的构造的说明图。

图4是示出带有标签的注释信息的构造的说明图。

图5是示出设备信息生成处理的流程图。

图6是示出显示处理的流程图。

图7是示出在显示处理中读取的信息的说明图。

图8是示出主图像的布局的其中一例的说明图。

图9是示出事件列表的说明图。

图10是示出注释赋予处理的流程图。

图11是示出注释信息的显示例的说明图。

具体实施方式

以下参照附图对本公开的实施方式进行说明。

[1.整体结构]

信息集成装置1是用于将手术室中的各种信息集成并加以保存且加以显示的装置。信息集成装置1应用于手术中的实时探讨以及支援、手术后的手术分析以及教育用途等方面。

如图1所示，信息集成装置1包括设备组2、服务器3、以及多个终端5。

[2.设备组]

如图2所示，设备组2包括多个设备21A～21H。各设备21A～21H分别生成数据并将所生成的数据提供给服务器3。下文在不区分多个设备21A～21H而指称任意的设备时记为设备21。

设备21是在手术或治疗时使用的医疗器械以及医疗设备等。具体而言，作为医疗器械，可列举例如生物体信息监测器、呼吸功能监测器、血流动力学监测器、镇静监测器、麻醉机、输液泵、注射器、血液净化装置、人工心肺机、辅助循环装置等。作为医疗设备，可列举例如：手术导航系统(以下称为手术导航)、IP摄像机、医疗用气体系统、内窥镜、显微镜、电手术刀、钻头、超声波照射装置等。此外，设备也可以包括空气调节系统、隔离系统等。

并且，由设备21提供的数据(以下称为设备信息)包含：由设备21测量到的测量值、从设备21输出的动态图像以及静止图像、包括设备21的使用状况或出错的设备状态、设备21本身的设定值、以及与设备21所进行处理的参数相关的设定值等。

此外，手术导航是获取手术中的手术器械的三维位置以及姿势的装置。作为手术器械，除电手术刀以及钳子外、还可列举显微镜等。作为获取手术器械的三维位置以及姿势的方法，例如考虑以下方法：预先在手术器械的指定位置上安装多个标识器，并在实施手术的空间中将从预先规定的基准位置起到手术器械中的指定位置的向量确定为手术器械的三维位置，并且根据多个标识器之间的位置关系确定姿势。此外，也可以将显微镜的焦点确定为三维位置。此时，与利用CT(Computed Tomography：电子计算机断层扫描)、MRI(Magnetic Resonance Imaging：核磁共振成像)等预先对患者的患处拍摄的三维图像建立对应以确定三维位置。

[3.服务器]

服务器3具有数据库31和服务器处理部32。

数据库31通过HDD等实现，如图2所示，数据库31至少具有设备信息区域45、注释信息区域46、以及事件信息区域47。在设备信息区域45中保存带有标签的设备信息T_Idv，在注释信息区域46中保存带有标签的注释信息T_Icm，在事件信息区域47中保存事件列表L。此外，还将带有标签的设备信息T_Idv以及带有标签的注释信息T_Icm统称为集成信息。服务器3对应于信息存储部的一例。

如图3所示，带有标签的设备信息T_Idv包括第1标签信息T1和设备信息Idv。

设备信息Idv是在手术中等从所属于设备组2的任意的设备21中获取的信息，具体包括测量值、设定值、以及图像数据等。

第1标签信息T1是与设备信息Idv相关的信息，至少包括时间标签T11以及数据类别标签T12。时间标签T11是表示获取到设备信息Idv的时刻(以下称为获取时刻)的信息。数据类别标签T12包含识别信息，该识别信息用于确定作为设备信息Idv的生成源的设备21。此外，在从一个设备21获取多个设备信息Idv的情况下，数据类别标签T12还包含用于确定是哪一个设备信息Idv的识别信息。

如图4所示，带有标签的注释信息T_Icm包括第2标签信息T2和注释信息Icm。

注释信息Icm是在手术中或在手术后经由终端5而被输入的信息，具体包括文本数据、音频数据、以及图像数据等。此外，图像数据还可以包括表示手写的文字或图的位图数据等。

第2标签信息T2是与注释信息Icm相关的信息，至少包括注释对象标签T21、时间标签T22、时间标签T23、以及注释类别标签T24。

注释对象标签T21是用于确定注释对象的信息。注释对象包括通过数据类别标签T12识别的设备信息Idv的整体或其一部分、以及不指定设备信息Idv的信息整体(即，显示有设备信息Idv的画面整体)。在设备信息Idv是由设备21测量到的测量值且该测量值以数字或图示出的情况下，设备信息Idv的一部分包括被示出的数字或图等。

时间标签T22是表示注释对象的获取时刻的信息，也就是表示与上述时间标签T11同样的获取时刻的信息。即，带有标签的注释信息T_Icm通过注释对象标签T21和时间标签T22与带有标签的设备信息T_Idv建立对应。

时间标签T23是表示在输入注释信息Icm时指定注释对象的时刻的信息。时间标签T23表示集成信息正在进行再现的当前时刻(以下称为再现时刻)。不过，在集成信息进行实时再现的情况下，也就是在集成信息的生成与集成信息的再现同时进行的情况下，时间标签T23可以是与时间标签T22相同的值。

注释类别标签T24是表示注释信息Icm的形式的信息，包括文本数据、音频数据、图像数据、语音识别数据、动作分析数据等。

如图9所示，在事件列表L中，作为信息条目至少包含“发生时刻”、“事件种类”、“事件创建人”、“事件内容”、“再现时刻”。“发生时刻”是事件发生的时刻，表示与获取时刻同一时间轴上的时刻。“事件种类”表示所发生的事件的种类，具体而言，表示是与哪个设备相关的事件。“事件创建人”表示当事件是因来自终端5的输入而发生的事件时进行了操作以使该事件发生的人。

可以经由终端5输入“事件创建人”，还可以从终端5获取作为终端5的用户而预先登记的信息作为“事件创建人”。“事件内容”表示发生的事件的内容，特别是在输入注释时发生的注释事件的情形下，“事件内容”表示所输入的注释的内容。“再现时刻”是指，在对集成信息进行再现时，当在事件列表L追加登记了事件的情况下，进行该登记的时刻，表示进行再现时的当前时刻。

此外，“事件创建人”栏以及“事件内容”栏的内容经由终端5而被适当记入。

返回到图1进行说明，服务器处理部32具备微计算机，该微计算机具有CPU321、以及诸如RAM、ROM等半导体存储器(以下称为存储器322)。

如图2所示，服务器处理部32功能性地具备多个提供部(provider)41A～41H、以及中间件42。以下在不区分多个提供部41A～41H而指称任意的提供部时记为提供部41。

各提供部41分别连接有设备21中的任意一个设备。提供部41调解其与所连接的设备21之间的信息交换。

中间件42是如下通信接口：无论编程语言或通信协议是否存在不同，均将统一的访问途径连同提供部41一起提供给与提供部41连接的各设备21。在此，作为中间件42，使用ORiN(Open Resource interface for the Network)。

此外，中间件42至少具有用于生成带有标签的设备信息T_Idv的设备信息生成功能421、以及按照要求提供当前时刻的时钟功能422。

[3-1.设备信息处理]

参照图5的流程图对服务器处理部32的中间件42为了实现设备信息生成功能421而执行的处理(以下称为设备信息处理)进行说明。若对服务器3接通电源，则对每个提供部41执行该设备信息处理。

在S110中，服务器处理部32判断设备21是否连接到作为处理对象的提供部41。若服务器处理部32判断设备21未被连接，则反复执行该步骤以进行待机；若服务器处理部32判断设备21已被连接，则将处理转移至S120。

在S120中，服务器处理部32经由提供部41从设备21获取设备信息Idv。从一个设备21获取的设备信息Idv可以是一个种类的设备信息，也可以是多个种类的设备信息。

接下来在S130中，服务器处理部32获取当前时刻并生成时间标签T11，并将该时间标签T11插入到在S120中获取的设备信息Idv中。当前时刻可以由微计算机所具有的时钟功能422获取，也可以使用与设备信息Idv一起由设备21所提供的时刻信息，其中，该时刻信息表示设备信息Idv的获取时刻。

接下来在S140中，服务器处理部32向在S120中获取的设备信息Idv插入表示该设备信息Idv的种类的数据类别标签T12。数据类别标签T12可使用对应着与提供部41连接的设备21而预先准备的数据类别标签。

接下来在S150中，服务器处理部32将上述处理中插入有第1标签信息T1的设备信息Idv也就是带有标签的设备信息T_Idv保存到数据库31中的设备信息区域45，其中，第1标签信息T1包括时间标签T11以及数据类别标签T12。

接下来在S160中，服务器处理部32判断设备信息Idv是否发生了事件。若设备信息Idv符合预先设定的事件条件，则事件发生。事件条件可使用例如以下条件，即，当设备信息Idv为测量值时，该测量值超过预先设定的阈值，或者该测量值的微分值或积分值超过预先设定的阈值。不过事件条件不限于此。

若服务器处理部32判断事件发生，则将处理转移至S170，若服务器处理部32判断事件未发生，则将处理转移至S180。

在S170中，服务器处理部32向保存在事件信息区域47中的事件列表L登记表示事件发生时刻的事件发生信息、以及表示成为事件对象的设备信息Idv的事件对象信息，并将处理转移至S180。

在S180中，服务器处理部32判断设备信息的生成是否结束。具体而言，服务器处理部32判断是否经由终端5输入了指示处理结束的指令。若服务器处理部32判断继续设备信息的生成，则返回到S110，若服务器处理部32判断设备信息的生成结束，则结束处理。

[4.终端]

如图1所示，终端5具有显示装置51、输入装置52、以及终端处理部53。多个终端5均具有相同的构造。

显示装置51是例如触控面板式的液晶显示器，能够显示诸如MPR(Multi PlanarReconstruction)图像等三维图像、表示生物体信息等的测量结果的波形数据或数值、各种操作按钮、各器械的设定值、以及显示设定值。

输入装置52是诸如设置在上述液晶显示器上的触控面板、键盘、鼠标、送话器、摄像机、以及动作传感器等输入设备。输入装置52向终端处理部53输出与经由这些输入设备进行的输入操作相对应的文本数据、位置数据、音频数据、图像数据等。

终端处理部53是具有CPU531以及诸如RAM、ROM等半导体存储器(以下称为存储器532)的微计算机。终端处理部53执行与保存在服务器3的数据库31中的信息相关的一个以上的应用程序(以下称为AP)。在此，如图2所示，终端处理部53至少执行显示AP61、语音识别AP62、动作分析AP63、注释赋予AP64、以及布局变更AP65。

语音识别AP62对通过送话器获取的用户的语音执行语音识别处理，并生成语音识别数据，然后，将生成的语音识别数据连同作为识别对象的语音一起输出，其中，送话器是构成输入装置52的输入设备中的一者，语音识别数据是与识别内容相对应的指令或文本数据。

动作分析AP63对通过摄像机拍摄用户的动作(例如，手、脸、头等的动作)而形成的图像进行分析，并生成动作分析数据，然后，将生成的动作分析数据连同作为分析对象的图像一起输出，其中，摄像机是构成输入装置52的输入设备中的一者，动作分析数据是与分析内容相对应的指令或文本数据，。

即，终端5通过具备输入装置52、语音识别AP62以及动作分析AP63，而实现非接触式的输入操作。

[4-1.显示处理]

参照图6的流程图对终端处理部53通过执行显示AP61而实现的处理(以下称为显示处理)进行说明。

在经由输入装置52输入显示开始指示后直至输入显示结束指示为止的期间，以预先设定的显示周期反复执行显示处理。在显示处理中，基于保存在数据库31的集成信息，将与经由输入装置52指定的时间S相对应的设备信息Idv以及注释信息Icm显示在显示装置51的显示画面上。不过，在显示静止图像的动作模式中，时间S根据来自输入装置52的输入而变更，在显示动态图像的动作模式中，时间S在由输入装置52输入初始值后配合着显示周期而自动更新。

在S210中，终端处理部53获取时间S。

接下来在S220中，终端处理部53从数据库31针对所有的设备类别获取被赋予了时间标签T11的设备信息Idv，并且从数据库31针对所有的注释类别获取被赋予了时间标签T22的注释信息Icm，其中，该时间标签T11和该时间标签T22表示在时间S之前的最新时刻。此外，可以在最新的时刻的搜索中规定可追溯的上限时间。

例如图7所示，数据库31中保存着以A～D识别的四种设备信息、以及以a、c识别的两种注释信息。在图7中，当时间S为9点00分X毫秒时，省略几点以及几分，以毫秒为单位显示为“X”。也就是说，图7的“A”栏示出的数值列表示对设备类别A的设备信息Idv赋予的时间标签T11的内容。

当时间S为“100”时，如在图7中的圆圈所示，具有时间S之前的最新时间标签T11的设备信息为：类别A中的时间标签T11为“97”的设备信息，类别B中的时间标签T11为“100”的设备信息，类别C中的时间标签T11为“99”的设备信息，以及类别D中的时间标签T11为“98”的设备信息。

此外，具有时间S之前的最新时间标签T22的注释信息是类别a中的时间标签T22为“93”的注释信息。而在类别c中则表示上限时间范围内不存在相符的注释信息。

接下来在S230中，终端处理部53生成主图像数据，主图像数据是用于按照在S220中读取到设备信息Idv的时刻所设定的布局来显示在S220中读取的设备信息Idv的图像数据。以下将根据主图像数据而显示的图像称为主图像。

在此所述的布局是以下元素的复合。(1)如何划分显示画面中的显示区域。(2)在划分出的各区域中同时显示几个哪一种类的设备信息。(3)如何设定划分出的各区域中的设备信息的显示方式(图像、数值、图、表等)。

作为主图像的布局的一例，例如图8所示，具有监测器区域A1、影像区域A2、导航图像区域A3、时间区域A4等。监测器区域A1是用于显示监测生物体信息的图等的区域。在监测器区域A1，以数值以及图的形式显示生物体信息。

影像区域A2是用于显示利用摄像机等对治疗对象拍摄的动态图像的区域。导航图像区域A3是用于一并显示由手术导航检测的三维位置和预先准备的患处的三维图像的区域。在导航图像区域中，以三视图的形式显示三张剖视图像，该三张剖视图像示出包含检测位置且彼此不同的三个截面。

时间区域A4是如下区域，即，用于以时间轴呈现存在集成信息的时间序列的时间范围，并且在该时间轴上示出时间S。在时间区域A4，对时间轴和表示事件发生时刻的气球形状一并加以显示。此外，利用另行准备的布局变更AP65实现布局的设定以及变更。

返回到图6进行说明，在接下来的S240中，终端处理部53生成注释图像数据，注释图像数据是用于将在S220中读取的注释信息Icm与主图像一并加以显示的图像数据。以下将根据注释图像数据而显示的图像称为注释图像。此外。根据注释信息Icm的注释类别、以及作为注释对象的设备信息Idv的数据类别而预先设定了注释图像在主图像上的显示位置以及显示形式。此外，也可以存在专门用于变更注释图像的显示位置以及显示形式的应用程序。

在接下来的S250中，终端处理部53向显示装置51输入在S230中生成的主图像数据以及在S240中生成的注释图像数据，由此，将主图像以及注释图像显示在显示装置51的显示画面上，然后暂且结束处理。

此外，S210～S230对应于主图像生成部的一例，S210～S220、S240对应于注释图像生成部的一例。

[4-2.注释赋予处理]

以下参照图10的流程图对终端处理部53通过执行显示AP64而实现的处理(以下称为注释赋予处理)进行说明。在执行显示处理期间反复执行该注释赋予处理。

在S310中，终端处理部53判断是否经由输入装置52进行了将显示在显示装置51的画面(以下称为显示画面)上的信息整体(以下称为“整体”)指定为注释对象的全指定输入。若终端处理部53判断已进行全指定输入，则将处理转移至S340，若终端处理部53判断未进行全指定输入，则将处理转移至S320。

在S340中，终端处理部53获取与进行全指定输入的时刻相对应的获取时刻以生成时间标签T22，并且获取与该时刻相对应的再现时刻以生成时间标签T23。其中，获取时刻是指，在进行全指定输入的时刻之前于显示处理的S210中新近获取的时间S，或者是与在该时刻显示的设备信息Idv建立了对应的时间标签T11所示出的时刻。此外，再现时刻是指，在进行全指定输入的时刻由时钟功能422获取的当前时刻。

接下来在S350中，终端处理部53生成表示注释对象为“整体”的注释对象标签T21，并将处理推进至S420。

在S320中，终端处理部53判断是否经由输入装置52进行了位置输入，其中，位置输入指示显示画面上的位置。位置输入可以是显示画面上的利用触控面板输入的位置，也可以是显示在显示画面上的通过鼠标或键盘进行操作的光标所示出的位置。

此外，当主图像中包含有导航图像区域A3时，位置输入可以是由该导航图像示出的三维位置。具体而言，是各三视图示出的各图像中辅助线相交的中心位置。若终端处理部53判断已进行位置输入，则将处理转移至S360，若终端处理部53判断未进行位置输入，则将处理转移至S330。

在S360中，终端处理部53获取与经由输入装置52进行位置输入的时刻相对应的获取时刻以及再现时刻，并以与S340中的处理同样的方式，生成时间标签T22、T23。

接下来在S370中，终端处理部53判断在显示画面上的经由位置输入而指定的位置也就是在指定位置处是否显示有表示测量值的数字或波形(以下称为波形等)，也就是判断是否已通过位置输入指定了波形等。若终端处理部53判断未指定波形等，则将处理转移至S380，若终端处理部53判断已指定波形等，则将处理转移至S390。

在S380中，终端处理部53基于指定位置以及在该时刻的显示布局来确定显示在指定位置处的设备信息Idv的种类。由与设备信息Idv建立了对应的数据类别标签T12表示该设备信息Idv的种类。并且，终端处理部53生成表示该被确定的设备信息Idv是注释对象的注释对象标签T21，然后将处理推进至S420。

在S390中，终端处理部53生成表示通过位置输入指定的波形等是注释对象的注释对象标签T21，并将处理推进到S420。

此外，在S380以及S390中，注释对象标签T21可以包含以下信息，即，用于在分配给注释对象的显示区域内的相对位置处呈现指定位置的信息。该信息是用于在布局产生变更时使显示区域内的显示和指定位置之间的关系不产生变化的信息。

在S330中，终端处理部53判断是否经由输入装置52进行了注释事件输入，注释事件输入是进行注释输入的操作。具体而言，如图8所示，当经由输入装置52对在画面上的时间区域A4示出的事件追加按钮Bev进行了操作时，则判断为进行了注释事件输入。若终端处理部53判断已进行注释事件输入，则将处理转移至S400，若终端处理部53判断未进行注释事件输入，则使处理返回至S310。此外，若对事件追加按钮Bev进行了操作，则如图9所示，画面上将会显示追加有新的注释事件的事件列表L。

在S400中，终端处理部53获取与进行注释事件输入的时刻相对应的获取时刻以及再现时刻，并以与S340中的处理同样的方式，生成时间标签T22、T23。该获取时刻以及再现时刻也显示在事件列表L中。

接下来在S410中，终端处理部53生成表示注释对象为事件的标签T21，并将处理推进至S420。

在S420中，终端处理部53判断是否经由输入装置52进行了注释输入，若已进行注释输入，则将处理转移至S440，若未进行注释输入，则将处理转移至S430。

在S430中，终端处理部53判断是否经由输入装置52输入了取消注释输入的指示，若输入有取消的指示，则结束处理，若未输入取消的指示，则使处理返回至S420。

在S440中，终端处理部53根据用于注释输入的输入设备确定被输入的注释的类别，并生成注释类别标签T24。注释的类别包括：经由键盘的文字输入、经由触控面板的手写输入、经由送话器的语音输入、经由摄像机的图像输入等。

接下来在S450中，终端处理部53生成与注释类别相对应的注释信息Icm。具体而言，当注释类别为文字输入或手写输入时，直接将输入的文本数据或图像作为注释信息Icm。当注释类别为语音输入时，注释信息Icm不仅包含音频数据，还包含通过执行语音识别AP62而生成的语音识别数据。同样，当注释类别为图像输入时，注释信息Icm不仅包含图像数据，还包含通过执行动作分析AP63而生成的动作分析数据。

接下来在S460中，终端处理部53向在S450中生成的注释信息Icm插入在S340、S360、S400中生成的时间标签T22、T23、在S350、S380、S390、S410中生成的注释对象标签T21、以及在S440中生成的注释类别标签T24，由此，生成带有标签的注释信息T_Icm。

接下来在S470中，终端处理部53将生成的带有标签的注释信息T_Icm保存到数据库31中，并暂且结束处理。

通过反复执行的显示处理，使储存到数据库31中的带有标签的注释信息T_Icm的内容即刻被反映在显示画面上。

此外，S310～S330以及输入装置52对应于对象指定部的一例，S420以及输入装置52对应于注释输入部的一例，S340～S410、S440～S470对应于信息生成部的一例。

此外，通过使CPU321、531执行保存在非临时性实体记录介质中的程序来实现服务器处理部32以及终端处理部53的各功能。在该示例中，存储器322、532对应于保存有程序的临时性实体记录介质。此外，通过执行该程序来执行与程序相对应的方法。另外，服务器处理部32以及终端处理部53可以具有一个微计算机，也可以具有多个微计算机。

用于实现服务器处理部32以及终端处理部53所包含的各部分的功能的方法不限于软件，也可以利用一个或多个硬件实现其中一部分功能或全部功能。例如，当通过作为硬件的电子电路实现上述功能时，该电子电路可以是数字电路或模拟电路，或者可以是数字电路和模拟电路的组合。

[5.显示例]

在此，参照图11说明通过显示处理显示注释信息Icm的显示例。

当显示在监测器区域A1的测量值产生大幅度变化时，在通过诸如用手指触碰画面上显示着该测量值的部位以进行位置输入之后，经由键盘等输入“因用药而产生变化”等注释。这样，如图11中的符号C1所示，会显示与作为注释对象的参数建立了关联的文字注释。

在进行了指定影像区域A2的位置输入后，使用触控面板用输入笔等在显示画面上手写输入线图或文字。这样，如图11中的符号C2所示，会在作为注释对象的影像区域A2的图像上直接重叠地显示手写输入的线图或文字。

在于导航图像区域A3以三视图形式显示有MPR图像的状态下，若进行了指定导航图像区域A3的操作，则相当于进行了如下位置输入，即，指定由显示在导航图像区域A3的MPR图像确定的三维位置，从而能够对所指定的三维位置进行注释输入。该情形下，三视图各自的中央位置处示出的三维位置成为注释对象，并在图11的符号C3所示的“注1”部分显示注释。

此外，与三视图中的其他位置处的表示以前作为注释对象而指定的三维位置的黑点建立对应，并在图11的符号C4所示的“注2”部分显示注释。此外，注释也可以不与图像重叠显示，而是显示在导航图像区域A3中不存在图像的部分处。

虽然省略了进行全指定输入时的图示，不过，例如可以在显示画面的右角处设定纵长的注释显示区域，并在该注释显示区域中按时间序列显示注释时间和注释内容。

[6.效果]

根据以上详述的信息集成装置1，可获得以下效果。

(6a)如果在手术或治疗中实时地对设备信息Idv进行显示，则不仅能够与任意的相关人员实时共享手术或治疗的情况等，还能够实时地保留下注释，以作为手术中接受的建议、手术中对器械进行的操作及操作意图、以及手术中察觉到的状况等的备忘。

例如，当显示装置51的显示画面上显示的设备信息中存在与其他部分不同的特征性部分时，能够将诸如用药、空气调节的设定变更、以及患者的姿势变更等无法从设备信息读取的信息作为注释而加以保留。

(6b)不仅能够通过操作触控面板、键盘、以及鼠标等器械而进行输入，还能够利用送话器或摄像机以语音或姿势进行非接触式的注释输入，因此，还能够以简易的方式将处在无法操作器械的状况下的施行手术或治疗的人等的注释加以保留。

(6c)以进行手术或治疗的回顾或教育等目的而在手术后对设备信息Idv以及注释信息Icm加以显示时，观看者能够根据注释信息Icm获取有用的信息，而这些有用的信息是仅根据设备信息Idv无法获取到的。此外，该情形下，还可以追加新的注释。

(6d)能够在输入注释时对显示画面上示出的每个设备信息Idv加以指定，并且使注释信息Icm与该被指定的设备信息Idv建立关联并加以显示和再现，因此，观看者能够明确地把握注释对象。

(6e)能够将注释对象设定成“整体”，因此，通过利用该功能，观看者之间能够在显示画面上进行讨论，并且能够将该讨论的内容作为注释而加以保留。

[7.其他实施方式]

以上对本公开的实施方式进行了说明，不过，本公开不限于上述实施方式，能够进行各种变形而加以实施。

(7a)在上述实施方式中，在终端5安装了多个应用程序61～65，不过，本公开不限于此。例如也可以使服务器3和终端5一体化，然后将多个应用程序61～65中的至少一部分安装在服务器3上。

(7b)可以由多个构成元素实现上述实施方式中的一个构成元素所具有的多个功能，也可以由多个构成元素实现一个构成元素所具有的一个功能。此外，还可以由一个构成元素实现多个构成元素所具有的多个功能，或由一个构成元素实现通过多个构成元素实现的一个功能。并且，可以省略上述一实施方式的构成的一部分。还可以将上述一实施方式的构成的至少一部分添加到上述其他实施方式的构成中，或者将上述一实施方式的构成的至少一部分与上述其他实施方式的构成进行置换。

(7c)除上述信息集成装置外，还可以通过以该信息集成装置作为构成元素的系统、用于使计算机作为该信息集成装置而发挥功能的程序、记录有该程序的半导体存储器等非临时性实体记录介质等各种方式实现本公开。

Claims (7)

1.一种信息集成装置，其特征在于，具有：

信息存储部，所述信息存储部构成为，使从用于患者治疗的多个医疗用设备获取的设备信息与第1标签信息建立关联并将已建立关联的所述设备信息和所述第1标签信息加以储存，其中，所述第1标签信息包含表示获取到所述设备信息的时刻以及所述设备信息的种类的信息；

主图像生成部，所述主图像生成部构成为，抽取储存在所述信息存储部的多个所述设备信息中的与同一时间建立对应的一种以上的所述设备信息，并生成主图像数据，所述主图像数据是用于在一个画面显示所抽取的所述设备信息的图像数据；

对象指定部，所述对象指定部构成为，对根据所述主图像数据而显示的显示图像中的注释对象进行指定；

注释输入部，所述注释输入部构成为输入注释信息，所述注释信息是与由所述对象指定部指定的所述注释对象建立关联的信息；

信息生成部，所述信息生成部构成为，使通过所述注释输入部输入的所述注释信息与第2标签信息建立关联，并将已建立关联的所述注释信息和所述第2标签信息储存到所述信息存储部，其中，所述第2标签信息包含用于确定由所述对象指定部指定的所述注释对象的信息；以及

注释图像生成部，所述注释图像生成部构成为，在根据所述主图像数据而显示的图像即主图像中包含所述注释对象的情况下，所述注释图像生成部从所述信息存储部抽取与该注释对象相对应的所述注释信息，并生成注释图像数据，其中，所述注释图像数据是用于使所抽取的所述注释信息与所述主图像中的所述注释对象建立关联而加以显示的图像数据。

2.根据权利要求1所述的信息集成装置，其特征在于，

所述对象指定部构成为，对显示所述显示图像的画面上的位置进行指定，

所述注释对象包含显示在由所述对象指定部指定的位置处的所述设备信息或该设备信息的一部分。

3.根据权利要求2所述的信息集成装置，其特征在于，

所述设备信息包含与所述设备相关的控制参数。

4.根据权利要求2所述的信息集成装置，其特征在于，

所述设备信息包含示出生物体信息的波形的图。

5.根据权利要求1所述的信息集成装置，其特征在于，

所述设备信息包含手术中的手术器械的三维位置，

所述注释对象包含对与所述手术器械的三维位置相对应的治疗对象的三维图像进行显示的手术导航系统中的导航图像。

6.根据权利要求1所述的信息集成装置，其特征在于，

所述注释对象包含显示图像整体。

7.根据权利要求6所述的信息集成装置，其特征在于，

所述对象指定部构成为，在对预先准备的操作部进行了操作的时刻将显示图像整体指定为所述注释对象。

Images