CN102668556A - 医疗支援装置，医疗支援方法以及医疗支援系统 - Google Patents

Abstract

包含有在异地的人的多个人如同在相同的空间上存在，并通过在当前时刻的异地的人的动作与眼前的现实物体的适当关系来表现。医疗支援装置具有：摄像部(101)，取得相应用户的视野的拍摄信号；姿势观测部(102)，取得摄像部的姿势；位置观测部(103)，取得摄像部的位置；操作检测部(104)，从拍摄信号检测用户的操作以及进行该操作的操作位置；重叠信息构成部(105)，根据操作的种类，生成包括有关重叠内容以及操作位置的信息的重叠信息；显示管理部(112)，根据摄像部(101)的位置和姿势生成显示的画面；显示部(113)，在摄像部(101)的视点图像重叠显示管理部(112)生成的画面来进行显示，以及通信部(111)，向其他医疗支援装置发送重叠信息。

Description

医疗支援装置,医疗支援方法以及医疗支援系统

技术领域

本发明涉及如下的医疗支援系统：包含在异地的医生等的用户的多人共享其他用户的视野、和操作，来进行医疗支援。

背景技术

近年，进入老龄化社会的问题经常被提及。特别在地方老龄化的发展显著，推测老龄化从城市向人口密度小的地区加速。另外，另一方面，存在先进的医疗设备的医疗机关集中在城市的倾向，为了接受当前充分的医疗，不得不依靠城市的医疗机关。但是，这样一来，不仅患者本人即使对患者家属，也强加了肉体的、经济的、时间上的负担。因此，有效地利用信息通信设备的远程医疗被关注。远程医疗通常使用电视会议装置。该电视会议装置存在与计算机连接的周边设备，多个医生实时地得到异地的在家患者的医疗数据，通过采用图像和语音的双向通信，一边会话一边诊断。作为这样的以往的技术，例如有公知专利文献1所记载的技术。专利文献1多提供了如下的在家医疗支援系统：多个医生通过实时地得到异地的在家患者的医疗数据，通过使用图像和语音的双向通信，一边会话一边诊断。这用于远程诊断。在治疗中以往技术也能够应用。特别期待在异地的权威的指挥下的患者的信息共享、和手术的建议这样的应用。

现有技术文献

专利文献

专利文献1：日本专利特开平8－215158号公报

但是，在以往的电视会议系统中，显示装置的位置被固定，而且该画面是有限大小的平面。会议的参加者在确认显示装置的画面的时候，存在视线方向被限制的情况。另外，从异地参加电视会议的有学识者，对于在现场进行处置的参加者在基于图像进行指导的情况下，进行处置的会议参加者交互地反复进行征询伴随画面确认的指导这样的动作和处置，必须将视线从患部移开。在需要在进行圆滑的处理情况下，其妨碍处理，成为问题。

本发明解决所述以往的课题，其目的提供如下的医疗支援系统：包含在异地的医生等的用户的多人共享其他用户的视野、和操作，从而进行医疗支援。

发明内容

为了解决以往的课题，本发明的医疗支援装置，用于将用户的视野或操作在用户间共享，该医疗支援装置具有：摄像部，进行相应用户的视野的拍摄，并取得拍摄信号；姿势观测部，取得所述摄像部的姿势相关的信息；位置观测部，取得所述摄像部的拍摄位置相关的信息；操作检测部，根据由所述摄像部取得的所述拍摄信号，检测安装了该医疗支援装置的用户的操作及进行了该操作的操作位置；视点管理部，将所述拍摄信号、有关所述姿势的信息、以及有关所述拍摄位置的信息对应起来进行管理；重叠信息构成部，基于由所述操作检测部检测出的所述操作，决定重叠内容，并且基于由所述视点管理部管理的信号及信息，决定与所述操作位置相关的信息，并生成包含所述重叠内容以及与所述操作位置相关的信息的重叠信息；显示管理部，根据所述拍摄信号生成视点图像，并在该视点图像的所述操作位置生成并显示合成了所述重叠内容的图像；以及通信部，将所述重叠信息发送到至少一个的其他医疗支援装置。

在此，涉及所述操作位置的信息以与涉及所述姿势的信息、涉及所述拍摄位置的信息、以及所述操作检测部检测的操作位置相独立的另外的系统来表示。

根据这个结构，在异地的包括在的医生等的用户的多个人通过对其他的用户的视野和操作共享，从而减轻在视线方向的限制和对顺利作业的干扰。另外，异地人的指导是基于实际的患部进行的，从而能够更易懂地指示提示。

另外，所述通信部接收由所述其他医疗支援装置所拍摄的拍摄信号，所述医疗支援装置也可以还具有，虚拟视点生成部，根据示出任意的位置、以及示出在该任意的位置的近旁存在的两个以上的所述其他医疗支援装置的位置的信息，生成虚拟视点信息；以及图像合成部，基于从所述任意的位置的近旁存在的两个以上的所述其他医疗支援装置接收的所述拍摄信号、以及所述虚拟视点信息，生成将所述任意的位置作为虚拟视点的图像。

根据该结构，在异地的包括医生的多个人通过共享在任意位置的医生的视野和共享操作，从而减轻在视线方向的限制和对顺利作业的干扰。另外，异地人的指导是基于实际的患部进行的，从而能够更易懂地指示提示。

另外，也可以是：所述重叠信息与表示该重叠信息所包含的重叠内容的显示的形式的显示属性信息对应起来而被管理，所述医疗支援装置还具有：画面调整部，根据所述显示属性信息对由所述显示管理部所生成的所述重叠内容被合成的图像进行加工。

通过该结构，能够进行扩大显示视野的任意地点、将特定的种类的重叠信息以外作为非显示这样更详细的显示控制。

还有，本发明涉及的医疗支援装置的各功能框图也能够作为使计算机执行的程序来实现。并且，那样的程序能够通过CD－ROM等的记录介质或者互联网等的传送媒体进行纷发。

另外，本发明也可以作为集成电路的LSI来实现。这些的各功能框图既可以被个别单片化，也可以包含一部分或全部来被单片化。在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、极超级LSI。

并且，集成电路化的方法不仅限于LSI，也可以以专用电路或通用处理器来实现。LSI制造后，也可以利用可程序的FPGA（FieldProgrammable Gate Array）、可重构LSI内部的电路单元的连接和设定的可重构（リコンフィギュラブル）处理器。

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行进行集成化。

根据本发明的医疗支援装置，异地的人如同存在相同的空间上，通过以在当前的时刻的远程的人的动作与眼前的现实物体恰当的位置关系来表现，能够进行更直观的指示和协调作业。

附图说明

图1是示出本发明的实施方式1的医疗支援装置的结构的主要部分的框图。

图2是表示在实施方式1的室内的医疗支援装置和其他的节点的关系的图。

图3是表示在实施方式1的3维空间的坐标变换的图。

图4是示出在实施方式1的操作检测部发行的操作检测信息的图。

图5是表示由实施方式1的重叠信息存储部所记录的重叠信息的图。

图6A是表示接受实施方式1的用户请求、制作重叠信息、并将视点图像与重叠信息重叠显示的处理的流程图。

图6B是表示接受实施方式1的用户请求、制作重叠信息、并将视点图像与重叠信息重叠显示的处理的流程图。

图7是用于说明在实施方式1的视点图像上重叠重叠内容的显示的一个例子的说明图。

图8是在本发明的实施方式2的医疗支援装置的功能框图。

图9是表示生成在实施方式2的虚拟视点的处理的流程图。

图10是用于说明在在实施方式2的视点图像上重叠重叠内容的显示的一个例子的说明图。

图11是用于说明在实施方式2的视点图像上重叠重叠内容的显示的一个例子的说明图。

图12是示出表示在实施方式2的虚拟的配置的视点的视点图像的处理的流程图。

图13是在本发明的实施方式3的医疗支援装置的功能框图。

图14是表示在本发明的实施方式3的显示属性的类别的图。

图15A是表示在本发明的实施方式3的显示属性的一个例子的图。

图15B是表示在本发明的实施方式3的显示属性的一个例子的图。

图16是示出将本发明的实施方式3设定的显示属性反应到显示画面的处理的流程图。

具体实施方式

下面对本发明的实施方式，一边参照图面一边进行说明。

（实施方式1）

图1是表示在本发明的实施方式1的医疗支援装置的结构的功能框图。

医疗支援装置100是用于将医生等用户的视野或操作操作在用户间共享的装置，如图1所示具有摄像部101、姿势观测部102、位置观测部103、操作检测部104、重叠信息构成部105、视点管理部108、坐标变换部109、重叠信息存储部110、通信部111、显示管理部112以及显示部113。另外，重叠信息构成部105由重叠位置决定部106以及重叠图像生成部107构成。医疗支援装置100例如能够通过小型照相机构成摄像部101，还具有分别存储有与位置观测部103，操作检测部104，重叠信息构成部105，视点管理部108，坐标变换部109，通信部111，显示管理部112对应程序的存储器、硬盘等的记录介质(未图示)、与重叠信息存储部110对应的存储器，硬盘等在记录介质(未图示)、以及执行存储器中所存储的程序的CPU(未图示)的处理器的计算机，将显示部113通过头戴式显示器构成，由此来实现医疗支援装置100。另外、医疗支援装置100也能够通过将上述的所有的要素内置于头戴式显示器来实现。在以下的说明中，将搭载了上述结构元件中的一部分的要素的医疗支援装置100称为子设备。例如，在前述的医疗支援装置100结构例中，将不具有做为显示部113的头戴式显示器的医疗支援装置100称为子设备。在图1中，其他的节点130是与医疗支援装置100等同或者是其子设备的装置。

在上述的例子中，示出如下的结构：位置观测部103、操作检测部104、重叠信息构成部105、视点管理部108、坐标变换部109、通信部111、显示管理部112各自的程序存储于计算机具备的存储器、硬盘等的记录介质(未图示)，通过CPU来执行。然而，不限于此，例如也可以由未图示位置观测部103、操作检测部104、重叠信息构成部105、视点管理部108、坐标变换部109、重叠信息存储部110、通信部111、以及显示管理部112一部分或全部的专用的处理电路（例如LSI）等来构成计算机。采用这样的结构的情况下，对于使用专用的处理电路(未图示)来实现的动作对应的程序不是必须存储在计算机具有的存储器、硬盘等的记录介质。

还有，该计算机优选为能够内置于头戴式显示器的程度的小型计算机。

另外，这个计算机具有通过无线或有线用于通信（例如发送、接收等）的通信电路(未图示)。

通信部111例如具有如下结构：具有该通信电路和记录有用于控制该通信电路的程序的存储器、硬盘等记录介质(未图示)。另外，也可以是使用对由CPU执行用于控制通信电路的程序时的动作未图示专用的处理电路（例如LSI）来构成。

在采用这样的结构的情况下，用于控制与使用专用处理电路(未图示)来实现的动作对应的通信电路的程序不需要一定存储在计算机具有的存储器、硬盘等的记录介质。

其他的节点130由与用户120不同的人物安装。其他的节点130和其他的节点130安装的装置，与用户120同医疗支援装置100的关系相同。通过各各节点互相通讯，从而共享在视野中重叠的信息和视野，支援医疗工作。

图2是表示在室内的医疗支援装置100和其他的节点130关系的图。在这里上段是从倾斜的上方俯视室内的图，下段是从正上方俯视室内的图。在本实施方式1中，假设为室内的手术室，用户为在室内及异地的医生。在图2所示的室内的中央，配置有载置作为患者的人物的床铺。但是，在这里因为简化所以未图示。

相当于图1所示的用户120的医生等的用户201、202，分别安装有相当于医疗支援装置100的医疗支援装置211、212。这样，在手术室内的医生等的用户201、202，通过安装于用户的医疗支援装置211、212，来利用医疗支援装置100功能。

医疗支援装置213、214、215是未安装于用户的医疗支援装置，是与医疗支援装置100等同或者其子设备的装置。医疗支援装置100未必与人成对地安装。未安装在用户的医疗支援装置213、214、215能够设置在室内任意的地点。在本实施方式1中，以包围中央（有床铺的地点）的方式设置211～215。此时，213设置于相对于天棚的铅直下方，如图2的下图所示，被设置为能够看到包含安装在其他的用户的医疗支援装置211、212、214、215的室内全体。在此，在本实施方式1中，以能够看到室内全体的方式设置了213，但不限于此。优选可拍摄的点较多的情况，但因节点的增加处理量也增大，所以设置为根据状况能随意指定能够设置的数量。

在医疗支援装置100中，各节点互相共享至少1个以上在医疗支援装置100的显示部113上显示的文字列等的信息，并在各自的视野上重叠表示。所谓各自的视野上显示，意味在将各节点的视点作为原点的固有的坐标空间上配置显示的信息。因而，根据各自的节点，即使是相同的信息，表示该配置场所的坐标值的表现也不同。由此，为了共享1个信息，需要在互相通用的坐标系上进行信息管理。

另外，各节点作为安装在人的头部等的医疗支援装置100的情况下，各节点随着医疗工作头部的位置每时每刻变化。因此，为了在时间上掌握节点的头部位置，同时需要按照时间序列而变化的固有坐标系的追踪。总之，有时需要从在某个时刻的固有坐标系的坐标值取得通用坐标系的坐标值，或能对其反向执行。在这里，对固有坐标系和通用坐标系的关系进行了说明。

图3是用于说明一般的3维空间的坐标变换的图。在图3中假设想知道在某时刻的通用坐标系301和从某时刻开始经过N小时后的固有坐标系A302间的变换矩阵Qn。在此，考虑固有坐标系B303在为个别能自由地变动的独立的坐标系的情况下，固有坐标系B302的n小时后与固有坐标系A重叠的情况。如图所示，在通用坐标系301中，固有坐标系B303和通用坐标系301的位置关系以变换队列Q0表示。另外，固有坐标系B303和n小时后的固有坐标系A302的位置关系能够通过固有坐标系B303移动到固有坐标系A302的平行移动量p、转动角度θ能表示为变换矩阵Qab。此时，(1)Qn＝Q0+Qab、(2)Qab＝P(θ，p)这样的关系成立。

即，n小时后时刻的固有坐标系A302和通用坐标系301的位置关系Qn，能够通过表示通用坐标系301与固有坐标系的初始位置（固有坐标系B303）的位置关系的Q0、以及从固有坐标系的初始位置开始的并行移动量p、以及转动角度θ变化量求得。

其次，使用在本发明的实施方式1的医疗支援装置的功能框图，来说明各框图和框图间的关系。

摄像部101进行相应用户的视野的拍摄，取得拍摄信号。即，摄像部101取得将用户120视线方向的光学像、用户120或用户120身体的一部分的光学像变换为电气的信号的拍摄信号。拍摄信号成为操作检测部104、视点管理部108输入信息。拍摄信号在操作检测部104用于检测从用户120对医疗支援装置100的用于请求操作的动作。具体的方法后述。另外，拍摄信号在视点管理部108用于取得用户120视线方向的图像。在本实施方式1假设摄像部101取得的拍摄信号由2台照相机得到。2台照相机设置在用户120头部，作为来自左眼、右眼的各自的视点的拍摄信号进行处理。但是，只要满足以下要件，即，取得用于检测用户120的用于请求操作的动作的输入信息、并取得与视线方向一致的图像即可，不限于由本实施方式1假设的结构。

姿势观测部102取得安装医疗支援装置100的用户120偏转、滚动、俯仰角的视线方向的姿势的姿势涉及的信息的视点角度。在本实施方式1中，假设姿势观测部102由能够取得3轴的角度的传感器构成，位于安装医疗支援装置100的用户120头部。视点角度用于估计用户120视线方向。

位置观测部103取得作为有关表示安装医疗支援装置100的用户120头部的位置的拍摄位置的信息的视点位置。视点位置用于推定用户120位于室内的哪个地点。例如，通过计算图2医疗支援装置100或者作为子设备而表示的医疗支援装置213作为成为室内的基准的装置情况的、医疗支援装置213和其他医疗支援装置100或者子设备的相对位置，从而能把握相对于室内位于哪个位置。

操作检测部104分析摄像部101取得的拍摄信号，检测表示用户120的用于请求操作的动作的动作。在这里示出检测处理的一个例子。从取得的拍摄信号提取用户120主要进行用于请求操作的动作的身体部位。例如，在作为检测部位为一般地用手检测用于请求操作的动作的情况下，公知根据肤色提取、强度曲线部分的提取或者医疗支援装置100预先保持的手形状的模型匹配，对拍摄信号中的手进行估计、识别。对接下来提取的操作部位在时间序列上进行追踪监视。在此，例如，在一定时间持续检测出用手指的手形状的情况下，检测对拍摄信号中的任意一点进行选择的操作，并将用于请求操作的动作作为操作检测信息对重叠信息构成部105进行通知。没检测出表示用于请求操作的动作的动作的情况下，反复进行对摄像部101取得的拍摄信号进行分析并示出用于请求操作的动作的动作检测处理。在此，所说的操作检测信息至少是由表示操作检测部104检测出的操作的种类的信息和表示拍摄信号中的进行操作的位置的信息构成。

图4是表示操作检测部104发行的操作检测信息的一个例子的图。操作检测信息至少由操作类别401和操作检测位置402构成。操作类别401因为表示操作检测部104检测出的动作的种类，表示根据动作表示任意位置的选择、重叠的图像的生成这样的操作。操作检测位置402示出操作检测部104检测到摄像部101的拍摄信号内的操作的位置。例如，操作类别401存在以下动作：为了指示视野上任意的点、或选择在视野上虚拟的设置的按钮这样的图形的「按」这样的动作、以及为了变更视野内表示的图形数据的位置，将位置变更的图形数据的「抓」这样的动作等。还有，在操作中例如也包含描绘附加标记的图这样的动作。另外，操作检测位置402在拍摄信号内被保存表示进行操作类别401表示的动作被进行的地点的X坐标及Y坐标的值。进一步，操作类别401以及操作检测位置402也可以保持作为例子举出的变量以外的类别、Z坐标信息这样的信息。

重叠信息构成部105接收操作检测部104的操作检知信息的通知，生成针对操作的信息，或者进行更新。在这里，针对操作的信息是指表示该操作作用的位置的信息和在画面上所显示的情况的视觉信息（重叠内容）所构成的重叠信息。例如，对用户120视野内任意的一点以强化信息为目的所使用的、记录和说明、指南文本的图显示等成为重叠信息。新的重叠信息通过对重叠信息存储部110请求记录而被保存。另外，重叠信息构成部105通过经由通信部111对其他的节点130发送重叠信息的生成通知或更新通知，从而即使对其他的节点130也能够通知重叠信息生成、更新。并且，重叠信息构成部105为了使操作的信息生成、或者更新反映到画面，对显示管理部112进行画面更新通知。

重叠位置决定部106算出操作检测信息表示的操作被进行的位置。为了与其他的节点130共享某一个重叠信息，需要保持通用的坐标系上的坐标位置。但是，表示各自的医疗支援装置100检测出的用于请求操作的动作的动作基于各自的摄像部101拍摄的图像而被检测。即，操作检测部104检测的位置的各自的摄像部101的坐标系成为基准，在各节点没有成为通用的坐标系。重叠位置决定部106基于各节点个别的坐标系能得到的坐标值，决定作为有关操作位置的信息的通用坐标系的坐标值。重叠位置决定部106从重叠信息构成部105接受位置生成的请求时，计算通用坐标系的坐标值。在此，对通用坐标系的坐标值的计算顺序进行说明。重叠位置决定部106对视点管理部108请求取得视点信息，并取得现在时刻的视点位置和视点角度。根据视点位置、视点角度、以及由操作检测部104所检测出的操作位置计算出在通用坐标系的坐标值。此时，坐标变换处理通过委托坐标变换部109而取得坐标值。

重叠图像生成部107生成根据由操作检测部104所通知的操作检测信息示出的操作的种类的图像。例如，在对指示所述的视野内的任意的一点的文本的重叠显示的操作进行通知的情况下，进行文本的图信息的生成处理。重叠图像生成部107从重叠信息构成部105接收图像生成请求时，判定操作的种类，制作对应操作的形状、颜色、文字、尺寸以及图信息。

图5是表示由重叠信息存储部所记录的重叠信息的一个例子的图。重叠信息至少由数据ID501、重叠信息类别502、和重叠信息显示位置503所构成。数据ID501由被重叠信息分别赋予的唯一的符号。在本实施方式中，赋予如图5的数据ID501所示的唯一的值。重叠信息类别502表示重叠信息的类别。例如，在某重叠信息为医疗支援装置100以及子设备的情况下，如图5的重叠信息类别502所示赋予节点这个类别。另外，在视野被重叠的例如患者的信息和记录等的文本图是通过标记例如伦琴图像等的图像数据赋予图像这样的类别，能辨别各自的重叠信息的种类。并且，对于任意的节点来说，其他的节点130也能看作重叠信息的一种。这种情况，其他的节点130也可以通过节点重叠信息类别502而被管理。重叠信息显示位置503显示在通用坐标系的重叠信息的显示位置。设定如图5所示的通用坐标系的X、Y、Z轴的坐标值。在此，重叠信息可以保持上述以外的信息。例如，重叠信息为表示文本的情况下，可例举字符串信息、字库信息、尺寸信息、颜色、以及字体信息等。另外，在作为具有任意的形状的图像的情况下，也可以包含表示各顶点群的形状信息、透过率的信息、以及用于形状的表面的纹理图像信息。任何一个，在作为重叠信息处理上成为处理对象的数据，或者有关显示的数据也可以作为重叠信息作而含有。

视点管理部108进行现在的视点信息的取得、分发。在本实施方式1中，作为视点信息，从视点能看到的图像(视点图像)、在固有坐标系的视点的XYZ3轴（滚动，俯仰，偏转）角度(视点角度)、和XYZ3轴的坐标值(视点位置)的取得，分发。从视点可以看见的图像(视点图像)由摄像部101取得。在固有坐标系的视点的XYZ3轴(视点角度)由姿势观测部102取得。在固有坐标系的视点的XYZ3轴的坐标值(视点位置)由位置观测部103取得。视点管理部108取得请求接受视点图像、视点角度、视点位置的至少一个或者全部的取得请求的信息，作为视点信息进行通知。在本实施方式1中，由重叠位置决定部106请求取得视点信息。在此，视点管理部108取得、发送的未必必须是视点图像、视点角度、以及视点位置。至少也可以是1个以上或是有关其他的视点的信息。所谓涉及其他的视点的信息例如有来自深度传感器的视点的深度信息、以及红外线特别的光线信息等。

坐标变换部109进行从通用坐标系向各节点个别的坐标系的变换或其逆变换。例如，重叠位置决定部106基于从视点管理部108取得的现在的视点的位置、姿势信息，在坐标变换部109设定(p，θ)的值，以使使满足上述的(1)、(2)式。此时，通过应用表示各节点的通用坐标系的初始位置的位置关系Q0，从而进行坐标变换部109的坐标变换处理。

重叠信息存储部110存储由重叠位置决定部106所生成的重叠信息的通用坐标系的坐标值、以及重叠图像生成部107通过图像生成请求生成的图像信息这样的重叠信息。重叠信息通过来自重叠信息构成部105的信息更新委托被记录。这些被存储的重叠信息由显示管理部112所取得，用于生成在显示部113所表示的画面。

通信部111与其他的节点130进行通信。通信部111通过重叠信息构成部105取得重叠信息的生成、更新通知请求，并通知其他的节点130。另外，收到通知的通信部111对重叠信息构成部105通知通知内容。由此，在相互的节点间进行通信。

显示管理部112从重叠信息构成部105接受画面更新通知，构成显示的画面。显示的画面由与被存储在重叠信息存储部110的重叠信息和从现在的视点能够看到的图像所构成。显示管理部112对视点管理部108请求取得视点信息，并取得现在时刻的视点的左眼右眼图像。显示管理部112从重叠信息存储部110取得在通用坐标系的视点位置、视点角度。进而，基于在通用坐标系的视点位置、视点角度，计算视野范围，并从重叠信息存储部110取得在该区域内存在的重叠信息。显示管理部112使用坐标变换部109、将取得的各重叠信息的坐标值配置为在各节点个别的坐标系，并生成与现在的视点图像重叠的画像。进而，显示管理部112请求显示部113对生成的画像和作为从视点管理部108取得的作为视点图像的左眼右眼图像进行重叠、以及显示画面。

显示部113从显示管理部112接受画面显示委托，在左眼右眼图像上重叠由重叠信息而构成的画像来进行显示。

图6A以及图6B是由图1示出的医疗支援装置100从用户120接受请求，制作重叠信息，将视点图像与重叠内容进行重叠来显示的处理的流程图。

首先，开始处理(S600)，并进入表示来自用户120的用于请求操作的动作的动作的检测处理(S601)。检测处理首先是操作检测部104从摄像部101取得拍摄信号(S602)。

操作检测部104从取得的拍摄信号提取表示用户120的用于请求操作的动作的操作部位(S603)。在本实施方式1中，操作部位假定为手。对手通过进行肤色提取和锐的曲线部分的提取，推定、识别在拍摄信号中的手的方法通常公知。在此，提取的操作部位不限于手。例如，也可以将在用户120的视线的手以外的操作者的身体的一部分、用户120手持手术刀等的工具作为操作部位来进行提取并用于操作识别。

接着，操作检测部104在监视提取的操作部位(S604)、并检测到显示用于请求操作的动作的动作的情况下，将操作检测信息与检测到拍摄信号中的操作的位置一起向重叠信息构成部105进行通知(S605)。

在未检测到表示用于请求操作的动作的动作的情况下，每次返回到从摄像部101取得拍摄信号的处理，并在直至检测出显示用于请求操作的动作的动作之前反复进行。

接受操作检测信息的通知的重叠信息构成部105为了在从操作检测部104接收的操作位置的通用坐标系上求出坐标值，请求重叠位置决定部106计算位置(S606)。

接受请求的重叠位置决定部106对视点管理部108请求取得在现在的视点位置、视点角度(S607)。

重叠位置决定部106对坐标变换部109通知与取得的视点位置、视点角度以及从操作检测部104所通知的操作位置，并进行通用坐标值变换请求(S608)。

坐标变换部109作为满足上述的式(1)，(2)的(p，θ)，而将从视点管理部108取得的视点位置设为p、视点角度设为θ，并求出变换矩阵Qn，从而计算出通用坐标系上的坐标值(S609)。

重叠信息构成部105为了生成在从操作检测部104得到的操作位置显示的图像，对重叠图像生成部107请求生成重叠图像(S610)。

重叠图像生成部107参照从操作检测部104所通知的操作检测信息的操作类别401，生成根据该操作类别401的重叠图像(S611)。在此，在重叠信息为显示文本的情况下，生成的重叠图像能够使用由图5说明的、字符串信息、字库信息、尺寸信息、颜色、以及字体信息而生成。

在此，S606～S609的重叠位置决定处理和S610～S611重叠图像生成处理，只要满足准备构成重叠信息的要素的要件即可，顺序怎样都没有关系。

重叠信息构成部105根据重叠位置决定部106算出的操作位置、和前述视野内的任意的一点重叠的文本等的图信息的重叠图像，生成图5示出的重叠信息。重叠信息构成部105将生成的重叠信息在重叠信息存储部110更新并保存(S612)。

为了即使对其他的节点130也反映该生成或更新，重叠信息构成部105对通信部111请求进行重叠信息的生成通知或进行更新通知(S613)。

通信部111接受通知时，对其他的节点130发行重叠信息和重叠信息的生成通知或更新通知(S614)。在此，接收了生成通知或更新通知的其他节点130的通信部111，对重叠信息构成部105通知更新，被生成、更新的重叠信息由重叠信息构成部105记录到重叠信息存储部110。另外，对其他的节点130，只要满足重叠信息的更新这样的要件即可，也可以是其他式、路径、方法。

接着，重叠信息构成部105对显示管理部112请求画面更新(S615)。

显示管理部112为了更新显示画面，对来自视点的实际的图像和与该实际的图像重叠的重叠图像进行配置。显示管理部112从视点管理部108取得左眼右眼图像(S616)。

显示管理部112取得在重叠信息存储部110所记录的通用坐标系的视点位置、视点角度(S617)。

显示管理部112基于取得的通用坐标系的视点位置、视点角度，例如使用透视投影法等计算视野范围(S618)。

进而，判断记录在重叠信息存储部110的重叠信息的通用坐标值是否存在于由显示管理部112算出的视野范围内，从重叠信息存储部110仅取得收纳在视野内的重叠信息(S619)。

因为取得的重叠信息的位置坐标是在通用坐标系的坐标值，所以显示管理部112使用坐标变换部109将取得的各重叠信息的坐标值变换为各节点个别的固有坐标系(S620)。

显示管理部112将在变换为固有坐标系的坐标值所表示的位置由重叠信息所表示的重叠图像配置到显示画面，并生成重叠在现在时刻的视点图像的画面(S621)。

显示管理部112对显示部113请求生成的图像和作为从视点管理部108取得的视点图像的左眼右眼图像的重叠、以及画面显示(S622)。

显示部113从显示管理部112接受请求时，重叠与视点图像重叠的图像（S623)。

并且，显示通过重叠成为1个的图像(S624)。根据以上医疗支援装置100从用户120接受请求，制作重叠信息，将视点图像和重叠图像重叠显示的处理结束(S625)。另外，这样通过重叠而成为1个的图像也能够经由通信部111发送到其他的节点或在异地的医生使用的显示装置(未图示)。

接着，进行上述说明的通信部111的其他的节点130的生成通知或更新通知的发行处理(S614)，对在其他的节点130接收到生成通知或更新通知的情况的动作进行说明。另外，关于其他的节点130的结构元件因为与医疗支援装置100相同，所以使用同样的符号进行说明。

接收了生成通知或更新通知的其他的节点130的通信部111对重叠信息构成部105通知重叠信息的生成或更新。重叠信息构成部105将生成或更新的重叠信息记录在存储部110。

并且，与上述相同，通过进行从由重叠信息构成部105的画面更新的请求处理(S615)到显示部113的显示处理(S624)的处理，从而将节点130视点图像、和基于从用户120接收的重叠信息的重叠图像重叠进行显示。

图7是用于说明在医疗支援装置100与视点图像重叠有重叠内容的显示的一个例子的说明图。

在此，例如如图7所示，假设是安装了医疗支援装置100的用户A710和安装了节点130的用户B720隔着患者730站立的情况。并且，如果用户A710例如选择标记之后，在活动手指以使以A的视野711的虚线740示出患者730身体的一部分的情况下，用户A710安装的医疗支援装置100的显示部113如A的视野712所示，在用户A710的视点图像使根据虚线740示出的手指的动作的标记750的图形作为重叠图像重叠并进行表示。另一方面，用户B720安装的医疗支援装置100的显示部113，如B的视野721所示，在用户B720视点图像将表示根据由虚线740所示出的手指的动作的标记760的图作为重叠图像重叠来进行显示。

如上所述，用户安装的医疗支援装置或其子设备，通过发送用于对在该用户的视野的物体重叠附加信息的图像进行生成的重叠信息，从而能够在用户间进行操作的共享。另外，通过发送重叠信息及视点图像，能够以在医疗现场的用户的视角，共享在该医疗现场的视野和操作，因此可以在异地更加正确地支援医疗作业。

（实施方式2）

图8是表示本发明的实施方式2的医疗支援装置的结构的功能框图。在图8中，与图1相同的结构元件使用相同的符号，并省略说明。在图8中，医疗支援装置200除了具有由与图1相同的符号所表示的框图之外还具有虚拟视点生成部114以及图像合成部115。根据本结构，在设置有医疗支援装置200及子设备的室内的宛如存在于相同的空间上，可以通过在现在的远程的人的动作与眼前的现实物体恰当的位置关系来进行表现，从而能够进行更直观的的指示、协调作业。

其次，使用在本发明的实施方式2的医疗支援装置的功能框图，来说明框图间的关系。

虚拟视点生成部114生成设置有医疗支援装置200以及子设备的相同空间内任意的地点作为虚拟的视点的虚拟视点。重叠信息构成部105请求生成虚拟视点。虚拟视点生成部114为了制作虚拟视点，取得记录在重叠信息存储部110的重叠信息。虚拟视点生成部114从取得的重叠信息生成虚拟视点。关于虚拟视点的生成处理的具体例后述。虚拟视点生成部114对重叠信息存储部110请求记录生成的虚拟视点。在此，由虚拟视点生成部114制作虚拟视点的情况下，重叠信息构成部105对视点管理部108设定虚拟视点显示。被视点管理部108设定的虚拟视点显示，成为由实施方式1说明的用户120用于请求操作的动作处理、和对虚拟视点设定操作进行分开的标记。虚拟视点作为重叠信息的1种被处理。具体地说，在重叠信息类别502设定表示虚拟节点的标记。此时，重叠信息也保持表示近旁的节点的数据ID501排列。这是为了在生成来自后述的虚拟视点的图像的候进行使用。在本实施方式2中通过合成多个的节点图像，生成虚拟存在的视点图像。此时，在多个的节点使用近旁的节点。为了确定参照的近旁的节点保持数据ID501。

图像合成部115生成来自虚拟视点的视点图像。来自虚拟视点的视点图像作为显示管理部112从视点管理部108取得的视点图像而被使用。但是，这是由视点管理部的108设定虚拟视点的情况。总之，根据虚拟视点模式的有无，视点管理部108切换来自摄像部101的拍摄信号和来自由图像合成部115生成的虚拟视点的视点图像作为视点图像。图像合成部115为了生成来自虚拟视点的视点图像，需要取得来自多个其他节点130的视点图像，因此通过通信部111从其他的节点130取得各视点图像。

图9是在实施方式2涉及的医疗支援装置200示出生成虚拟视点的处理的流程图。

本实施方式2为了说明生成虚拟视点的处理流程，将用户120设定为在异地存在的用户。假设异地的用户120与前述的用户相同安装有医疗支援装置200。用户120通过与实施方式1的图6A的操作检测的处理（S600～S606）相同的流程，将虚拟视点的生成作为向医疗支援装置200的用于请求操作的动作进行输入，重叠信息构成部105将操作检测部104检测到的操作位置作为虚拟视点的生成位置，进行接收(S800)。在此，示出虚拟视点的指定方法的一个例子。通过将来自能够拍摄如图2所示的室内全体的图像的节点213的图像在画面上进行显示，从而显示当前地点俯视这样的画面。可采用通过从显示的画面选择希望的地点、从而设定虚拟视点的位置的方法。但是，如果不限于该方法而使其符合用户设定任意的地点的条件，该提示方法、设定方法也可以通过其他的方法指定虚拟位置。

重叠信息构成部105请求虚拟视点生成部114生成虚拟视点(S801)。

受到了请求的虚拟视点生成部114从重叠信息构成部105取得虚拟视点的位置信息(S802)。

虚拟视点生成部114为了合成其他的节点的拍摄信号来生成来自虚拟视点的图像，检索将取得的虚拟视点的位置信息置于左右近旁的其他的节点130(S803)。

虚拟视点生成部114从重叠信息存储部110取得具有“节点”的重叠信息类别502的数据(S804)。在本实施方式2中，为了根据其他的节点的拍摄信号合成而生成来自虚拟视点的图像拍摄信号，取得的重叠信息也可以在重叠信息类别502仅取得表示“节点”的符号即可。

参照取得的重叠信息的重叠信息显示位置503，算出与虚拟视点的位置信息的距离并判定靠近程度(S805)。检测近旁的理由，在生成来自虚拟视点的视点图像时，能够确定成为视点图像的基础的节点。一般情况下，基于从多个的视点拍摄的图像，生成来自其中间的视点的图像的方法公知有基于图像的绘制（Image Based Rendering）。该中间视点相当于在本实施方式2的虚拟视点，为了生成来自虚拟视点的图像，需要检测近旁其他的节点130。在这里，成为阈值的距离值也可以选择检索中最近的距离值。还有，也可以用某些定值的固定值。进而也可以由用户设定任意的值。并且，在作为虚拟视点被设定的位置，也可能与节点214和节点215这样的固定的的节点相重叠。这种情况下，不需要检索近旁节点，通过选择一个节点214或节点215这样的节点，能够取得来自该地点的视野图像。另外，由重叠信息存储部110取得的重叠信息的重叠信息显示位置503是通用坐标系的坐标值，与由用户120所输入的虚拟视点的位置存在差异的情况。其情况，与图6A的S608相同，通过使用坐标变换部109能够统一坐标空间并判断与各节点的距离。

在重叠信息存储部110所记录的节点的重叠信息发现虚拟视点近旁的节点之前反复进行判断处理(S806)。

虚拟视点生成部114制作由发现了的虚拟视点近旁上存在的节点的重叠信息的数据ID501群、以及在虚拟视点的共用坐标系的位置信息所构成的重叠信息(S807)。此时，重叠信息的重叠信息类别502由“虚拟节点”这个类别所生成。

制作的重叠信息经由重叠信息构成部105，被记录到重叠信息存储部110(S808)。

重叠信息构成部105对视点管理部108进行设定虚拟视点显示的请求(S809)。

由此，结束将虚拟视点作为重叠信息而生成的处理(S810)。

此后，如实施方式1的图6A所示，进行对其他节点130的通知处理（S613～S614）。

并且，接收了生成通知或更新通知的其他的节点130的通信部111对重叠信息构成部105通知重叠信息的生成或更新。重叠信息构成部105将生成或更新的重叠信息记录在存储部110。并且，如实施方式1的图6B所示，通过进行从重叠信息构成部105的画面更新的请求处理(S615)到由显示部113的显示处理(S624)的处理，从而在其他的节点130能够在虚拟视点的位置显示异地的用户120。

图10以及图11是用于说明在医疗支援装置200中与视点图像重叠有重叠内容的显示的一个例子的说明图。

在此，例如，如图10所示，假设为安装医疗支援装置200的用户A910和安装医疗支援装置200的用户B920隔着患者930站立，并且在异地存在安装有医疗支援装置200的用户C940的情况。在此，设定虚拟视点之前，如用户A的视野911所示在用户A910安装的医疗支援装置200的显示部113显示有用户A910的视点图像。另一方面，如用户B的视野921所示在用户B920安装的医疗支援装置200的显示部113显示用户B920视点图像。

并且，用户C940例如将图10所示的点D选择为虚拟地点的情况下，如图11所示，用户A910安装的医疗支援装置200的显示部113，使用表示从用户C940安装的医疗支援装置200所发送的虚拟视点的重叠信息，如A的视野912所示在用户A910视点图像中，以虚线941所表示的表示用户C的图作为重叠图像被重叠并进行显示。另一方面，在用户B920安装的医疗支援装置200的显示部113，使用表示从同样用户C940安装的医疗支援装置200所发送的虚拟视点的重叠信息，如B的视野922所示对用户B920视点图像，以虚线942所示的表示用户C的图作为重叠图像被重叠进行显示。

如上所述，通过虚拟视点也作为重叠信息进行登记，从而能够与其他的重叠信息进行同样地处理。另外，虚拟视点设定者能够将自己的手的动作这样的身体的动作传达给异地的人。总之，虚拟视点的节点不仅仅对图6A及图6B所示的流程进行操作检测时，也对手和指这样的位置信息平时跟踪，实时地作为重叠信息持续记录。由此，对现场进行处理的人物，能够连续地显示异地的人物，能够宛如在现场一样进行强调工作。

图12是在图8所表示的医疗支援装置200示出表示来自位于虚拟的视点的视点图像的处理的流程图。

首先，与实施方式1的图6A的操作检测的处理（S600～S606）同样地进行用户操作的检测等。此后，生成执行与图9流程图相同的处理的虚拟视点。并且，为了将该处理反映到作为显示部113的显示画面，对显示管理部112进行画面更新的请求(S900)。

显示管理部112为了制作更新画面，对视点管理部108请求取得视点图像(S901)。

收到请求的视点管理部108通过确认是否由上述说明的虚拟视点显示的设定处理(S809)从重叠信息构成部105设定虚拟视点显示，来进行设定状态的判断。现状的该节点是被配置在虚拟视点的节点，通过虚拟视点显示的设定处理(S809)对视点管理部108设定虚拟视点显示。因而，判断成为虚拟视点显示(S902)。在此，在视点管理部108未设定虚拟视点显示的情况是指收到虚拟视点设定操作以外的操作的例子。以实施方式1说明的、在图6A和图6B表示的流程图符合该流程，在视点管理部108未设定虚拟视点显示的情况的以后的处理为取得与S616以后相同的流程。

视点管理部108因为设定状态为虚拟视点显示，所以未从摄像部101取得眼前的视点图像，而对图像合成部115请求取得视点图像(S903)。

图像合成部115从重叠信息存储部110取得虚拟视点的重叠信息(S904)。

虚拟视点的重叠信息像以上述处理(S807)说明，包含在虚拟视点近旁存在的节点的重叠信息的数据ID501群。确定这些的虚拟视点近旁的重叠信息的数据ID501表示的医疗支援装置200以及子设备(S905)，对通信部111请求取得虚拟视点近旁确定了的其他的节点130视点图像(S906)。另外，假设对被记录的虚拟视点近旁的重叠信息的数据ID501群反复进行视点图像取得(S907)。另外，在本实施方式2中，接受请求的其他节点130的通信部111根据请求，实施视点图像取得处理，不过满足取得视点图像的要件即可，不限于有线通信、无线通信这样的各节点间的通信的方式。

接下来，图像合成部115对取得的多个其他的节点130的视点图像进行合成，生成1张视点图像(S908)。在此，如上述处理(S806)所述，如节点214、节点215这样的固定的节点和虚拟视点重叠在一起的情况下，也可以原样使用该节点的视野图像。在其他的节点130的视点图像存在多张的情况下，通过使用Image Based Rendering方法，进行3维模型化，生成来自虚拟视点的视点图像。

图像合成部115对视点管理部108通知制作的视点图像，显示管理部112取得视点图像(S909)。此时，视点管理部108和显示管理部112，因为不区别是否是虚拟视点而取得视点图像，所以以后的处理通过与实施方式1的图6B相同的处理流程来进行画面显示(S910)。

如上所述，因为多个的用户安装的医疗支援装置或其子设备协调地生成并发送从任意的视点看的图像，从而能共享来自该医疗现场的任意的视点的视野和操作，因此可以在异地更加正确地支援医疗工作。

（实施方式3）

图13是表示在本发明的实施方式3的医疗支援装置的结构的功能框图。使用图13说明框图间的关系。另外，图13对于图1及图8相同的结构元件使用相同的符号，并省略说明。另外，医疗支援装置300除了图1及图8同样的符号所表示的框图之外，还具有画面调整部116。

操作检测部304除了图1以及图8表示的操作检测部104的功能之外，在用户120进行用于请求操作的动作的动作中，识别能够分别设定图14所示的显示属性的类别的动作。识别的操作类别401作为操作检测信息被通知到重叠信息构成部305。

重叠信息构成部305除了图1以及图8所示的重叠信息构成部105功能，还生成表示显示属性的符号。参照操作检测部304所通知的操作检测信息，生成与操作对应的显示属性，并保存在重叠信息存储部110。

显示管理部312除了具有图1以及图8所示的显示管理部112功能，还具有从重叠信息存储部110取得显示属性信息。显示管理部312按照显示属性示出的符号构成显示画面，对画面调整部116请求画面调整。

画面调整部116根据显示属性加工显示画面。画面调整部116通过重叠信息构成部305接受虚拟视点的生成请求时，按照显示属性所显示的符号，进行显示画面的加工。根据本结构，各个的用户120能够对安装的医疗支援装置300指定视野图像的加工显示，所述视野图像的加工显示是对视野的任意的地点进行扩大显示、以及将确定的种类的重叠信息以外作为非显示。

图14是表示构成被重叠信息存储部110作为显示属性保存的信息的显示属性的类别的变化的图。显示属性的类别由示出的显示方法的符号表示。显示属性的类别在显示管理部312和画面调整部116进行画面加工时进行参照，从而实现用户120所希望的画面显示。对于显示属性的各种类别进行说明。扩大显示1101、缩小显示1102是对本来应该显示的画面的一部分或全体进行放大、缩小来显示的显示属性。这成为在视力以上能看见方法工作需要有用的显示方法。部分扩大显示1103对与扩大显示1101同样视点图像的一部分进行扩大显示，是以放大镜只对任意的部分进行扩大显示的显示属性。这是一边确认扩大部分以外的视野图像的位置关系一边用于对某个位置扩大显示。尤其在进行手术这样的医疗行为的情况下，能够用于第一次看到的患部确认等。透过显示1104，过滤显示1105，是在重叠的信息内，表示此时想要显示或非显示、或者划分透过显示而显示的显示属性。在视野中重叠信息的基础上，存在以原来的视野应该能看到的位置隐藏了的情况。透过显示1104、过滤显示1105能够成为以每个人易看到的显示方法进行显示。视点切换1106以及两视点同时显示1107是与其他的节点130的进行视野共享的显示属性。在协调工作的基础上，多个的人物以来自各视点的视野进行作业，协调作业的人的动作从各个人的视野进行估计来调整定时、速度和目标位置等。还有，在异地医生指导的手术的过程等中，能够通过一边确认来自做手术的人自己的视野一边进行指导，进行正确的指示。在此，显示属性不限于图示的1101～1107，也可以是追加、削减用户120期望的模式。还有，在上述说明的显示属性之外，也可以使用满足支持作业的显示属性这样目的的其他方法。

图15A图15B是示出存储在重叠信息存储部110的显示属性的一个例子的图。显示属性由重叠信息构成部305所生成、记录在重叠信息存储部110的数据。显示属性至少由显示属性类别1201、位置信息1202、对象重叠信息ID1203、尺寸比率1204以及透过比率1205所构成。使用图14对显示属性类别1201进行说明。显示属性类别1201是表示被设定为表示由图14所示出的显示属性的类别的符号中哪一种，是示出显示的方法的值。位置信息1202是示出成为画面加工的对象的画面位置的值。例如、在图15A以及图15B中示出两个变量。在图15A示出的1201～1205是显示对于扩大显示的显示属性，在图15B示出的1206～1210表示针对透过显示的显示属性。按顺序说明。显示属性的类别1201被赋予表示图14扩大显示1101的符号。此时，在位置信息1202设定扩大的画面部分的中心坐标。对象重叠信息ID1203在存在成为画面加工的对象的重叠信息的情况下，示出该重叠信息的数据ID501的信息。在此，未确定适应显示属性的类别1201的对象重叠信息的情况、以及适应重叠信息存储部110所存储的全部重叠信息的情况的符号假设能另外确保任意的值。在本例中，因为假设为将画面全体以位置信息1202表示的地点为中心进行扩大显示的情况，所以假设将未确定对象重叠信息ID1203的赋予0。尺寸比率1204设定用于扩大表示的比率。透过比率1205是表示显示的透过程度的值。在本例中因为假设仅进行扩大，所以设定等倍。接着，关于图15B示出的1206～1210对用于任意的重叠信息进行透过显示的显示属性进行说明。对显示属性的类别1206赋予图14的透过显示1104的符号。位置信息1207在本例中因为是任意的重叠信息所确定的所以未使用。在此，位置信息1207也可以根据需要进行设定并使用。例如，考虑作为透过对象的操作不是重叠信息、而是指定视野上的某个范围的情况下，存储该范围围着的矩形四角的顶点坐标的事等。对象重叠信息ID1208存储成为透过对象的重叠信息的ID。尺寸比率1209是与表示与显示的尺寸比率1204相同，是示出纵横尺寸的程度的值。在本例中因为假设仅进行透过操作，所以设定等倍。最后透过比率1210是示出显示的透过程度的值，将半透过设定为0.7。另外，显示属性的类别1201、1206在2视点同时显示1107的情况下，将示出各自显示的以外节点130的视点的重叠信息的数据ID501指定为对象重叠信息ID。进而，尺寸比率1204、1209设定为即使相对缩小显示1102也同样地使用尺寸比率1204。

图16是在图13示出的医疗支援装置300示出将所设定的显示属性反应到显示画面的处理的处理的流程图。

首先，开始用户操作的检测处理时，操作检测部304对重叠信息构成部305通知操作检测（S1301）。另外，用户操作检测的处理以与图6A的操作检测的处理（从S601到S604）相同的处理处理流程来进行。

重叠信息构成部305参照操作检测信息，判断图4示出的操作类别401是否为针对显示属性的操作（S1302）。例如，在操作检测信息的操作类别401为指示显示属性的显示属性类别1201所确保的加工显示的用于请求操作的动作的情况下，重叠信息构成部305将操作检测信息的操作类别401作为针对显示属性操作来进行处理。在显示属性的类别存在图14示出的视点切换显示1106等。在操作类别401不是显示属性操作的情况下，继续进行根据被指定的操作类别401的处理。例如，在实施方式1的图6A所示的重叠信息生成操作的情况下，进行处理(S606)以后的处理。在操作类别401为显示属性操作的情况下，重叠信息构成部305将显示属性记录在重叠信息存储部110（S1303）。此时，重叠信息构成部305对视点管理部108通知显示属性。例如，显示属性类别1201为视点切换显示1106的情况下，与实施方式2的图9处理(S809)同样地设定虚拟视点显示，在之后的显示处理中，能够使用切换目的的视点图像。另外，作为显示属性被记录的信息假设包含图14所示的1～5值中的某一个。例如，在显示属性类别1201为透过显示1104的情况下，需要参照从操作检测部304所通知的操作检测信息中包含的操作检测位置402，确定操作检测位置402表示的重叠信息。因为操作检测位置402示出的位置信息是在节点的固有坐标系的坐标值，所以重叠信息构成部305采用与S606～S609同样的处理来转换为共用坐标系的坐标值。其次，从重叠信息存储部110对算出的共用坐标系的坐标值表示的地点所配置的重叠信息进行检索，并确定被设定为透过显示的对象的重叠信息。将被确定的重叠信息的数据ID501与输入的透过显示1104这样的显示属性类别1201、以及透过率一起作为显示属性记录到重叠信息存储部110。这对于其他的显示属性的显示属性类别1201也能应用，也可以同样地决定位置信息1202、对象重叠信息ID1203来设定。

重叠信息构成部305向显示管理部112请求画面更新(S1304)。

显示管理部312生成显示画面（S1305）。在此，显示画面的构成设定为进行与实施方式1的图6B示出的处理（S616～S621）相同的处理，并生成画面。

显示管理部312在画面生成后，向画面调整部116请求画面调整（S1306）。为了对根据重叠信息存储部110存储的显示属性的画面加工而进行该请求。

画面调整部116从显示管理部312接受该请求时，从重叠信息存储部110取得显示属性（S1307）。

画面调整部116根据取得的显示属性设定的值，加工显示画面（S1308）。例如，扩大显示1101的情况下，在显示属性设定有显示属性类别1201、位置信息1202、以及尺寸比率1204。画面调整部116在根据显示属性类别1201判断作为扩大显示1101时，以位置信息1202示出的显示图像的地点为中心，以尺寸比率1204值表示的扩大率重新构成显示画面。另外，在显示属性类别1201的其他的值也使用位置信息1202、对象重叠信息ID1203、尺寸比率1204、透过比率1205内的某一个或者多个，来加工画面。并且，对于各加工方法不限于固有的方法，只要满足各显示属性类别1201表示的要件即可。

其次、画面调整部116对显示部113请求画面显示，接受请求的显示部113进行与处理(S624)同样的处理，并显示画面（S1309）。由此，在显示画面反映设定的显示属性的处理结束。

如上所述，因为多个的用户安装的医疗支援装置或其子设备协调生成并发送从任意的视点看的图像，从而能共享来自该医疗现场的任意的视点的视野和操作，因此可以在异地更加正确地支援医疗工作。另外，能够进行对视野地任意的地点进行扩大表示、将确定的种类的重叠信息以外作为非显示这样的、更详细的显示控制。

由本发明的医疗支援装置具有异地间的数据共享、双方向的语音通信或者包含姿态手势的图像通信，不仅可作进行远程诊断，也可以用于手术等的手术等的远程治疗。

符号说明

100，200，300医疗支援装置

101摄像部

102姿势观测部

103位置观测部

104，304操作检测部

105，305重叠信息构成部

106重叠位置决定部

107重叠图像生成部

108视点管理部

109坐标变换部

110重叠信息存储部

111通信部

112，312显示管理部

113显示部

114虚拟视点生成部

115图像合成部

116画面调整部

120用户

130其他的节点

201，202用户

211，212安装在用户的医疗支援装置

213，214，215未被安装在用户的医疗支援装置

Claims (14)

1.一种医疗支援装置，用于将用户的视野或操作在用户间共享，该医疗支援装置具有：

摄像部，进行与用户的视野相应的拍摄，并取得拍摄信号；

姿势观测部，取得与所述摄像部的姿势相关的信息；

位置观测部，取得所述摄像部的拍摄位置相关的信息；

操作检测部，根据由所述摄像部取得的所述拍摄信号，检测安装了该医疗支援装置的用户的操作及进行了该操作的操作位置；

视点管理部，将所述拍摄信号、与所述姿势相关的信息、以及与所述拍摄位置相关的信息对应起来进行管理；

重叠信息构成部，基于由所述操作检测部检测出的所述操作，决定重叠内容，并且基于由所述视点管理部管理的信号及信息，决定与所述操作位置相关的信息，并生成包含所述重叠内容以及与所述操作位置相关的信息的重叠信息；

显示管理部，根据所述拍摄信号生成视点图像，并在该视点图像的所述操作位置生成并显示合成了所述重叠内容的图像；以及

通信部，将所述重叠信息发送到至少一个其他医疗支援装置。

2.如权利要求1所述的医疗支援装置，

所述位置观测部使用所述摄像部的固有坐标系来取得与所述拍摄位置相关的信息，

所述操作检测部使用所述摄像部的固有坐标系来取得与所述操作位置相关的信息。

3.如权利要求2所述的医疗支援装置，

所述医疗支援装置还具有：

坐标变换部，将使用所述固有坐标系而被示出的信息变换为使用与其他所述医疗支援装置通用的通用坐标系而被示出的信息；

所述重叠信息构成部具有：

重叠位置决定部，将显示所述重叠内容的位置决定为由与使用所述通用坐标系而被示出的所述操作位置相关的信息所示出的位置；以及

重叠图像生成部，将所述重叠内容作为与所述操作的种类相应的视觉信息来生成。

4.如权利要求1所述的医疗支援装置，

在所述重叠信息构成部重新生成或更新所述重叠信息时，

所述通信部除了所述重叠信息之外还将所述重叠信息的生成通知或更新通知发送到所述其他医疗支援装置。

5.如权利要求1所述的医疗支援装置，

所述通信部从所述其他医疗支援装置接收所述重叠信息，

所述显示管理部基于接收的所述重叠信息，在所述视点图像的所述操作位置生成并显示合成了所述重叠内容的图像。

6.如权利要求5所述的医疗支援装置，

所述通信部从所述其他医疗支援装置除了接收所述重叠信息之外，还接收所述重叠信息的生成通知或更新通知，

所述显示管理部根据所述生成通知或所述更新通知来生成并显示合成了所述重叠内容的图像。

7.如权利要求1所述的医疗支援装置，

所述通信部向所述其他医疗支援装置发送所述拍摄信号。

8.如权利要求1所述的医疗支援装置，

所述通信部接收由所述其他医疗支援装置所拍摄的拍摄信号，

所述医疗支援装置还具有，

虚拟视点生成部，根据示出任意的位置、以及在该任意的位置的近旁存在的两个以上的所述其他医疗支援装置的位置的信息，生成虚拟视点信息；以及

图像合成部，基于从在所述任意的位置的近旁存在的两个以上的所述其他医疗支援装置接收的所述拍摄信号、以及所述虚拟视点信息，生成将所述任意的位置作为虚拟视点的图像。

9.如权利要求1所述的医疗支援装置，

所述重叠信息与表示该重叠信息所包含的重叠内容的显示形式的显示属性信息对应起来而被管理，

所述医疗支援装置还具有：

画面调整部，根据所述显示属性信息对由所述显示管理部所生成的合成了所述重叠内容的图像进行加工。

10.如权利要求1所述的医疗支援装置，

所述操作检测部根据安装该医疗支援装置的用户的规定的部位的动作，从所述摄像部所取得的所述拍摄信号中检测所述操作。

11.如权利要求1所述的医疗支援装置，

所述医疗支援装置还具有：

重叠信息存储部，存储所述重叠信息。

12.如权利要求1所述的医疗支援装置，

所述显示管理部生成观察者的左眼用图像及右眼用图像。

13.一种医疗支援系统，具有第1医疗支援装置以及第2医疗支援装置，该医疗支援系统是用于将用户的视野或操作在用户间共享的医疗支援系统，

所述第1医疗支援装置以及所述第2医疗支援装置，具有：

摄像部，进行相应用户的视野的拍摄，并取得拍摄信号；

姿势观测部，取得与所述摄像部的姿势相关的信息；

位置观测部，取得与所述摄像部的拍摄位置相关的信息；

操作检测部，根据由所述摄像部取得的所述拍摄信号，检测安装了该医疗支援装置的用户的操作及进行了该操作的操作位置；

视点管理部，将所述拍摄信号、与所述姿势相关的信息、以及与所述拍摄位置相关的信息对应起来进行管理；

重叠信息构成部，基于所述操作检测部检测出的所述操作，决定重叠内容，并且基于所述视点管理部管理的信号及信息，决定与所述操作位置相关的信息，并生成包含所述重叠内容以及与所述操作位置相关的信息的重叠信息；

显示管理部，根据所述拍摄信号生成视点图像，并在该视点图像的所述操作位置生成并显示合成了所述重叠内容的图像；以及

通信部，在与至少一个其他医疗支援装置之间进行通信，

所述第1医疗支援装置的所述通信部向所述第2医疗支援装置发送所述重叠信息，

所述第2医疗支援装置的所述通信部从所述第1医疗支援装置接收所述重叠信息，

所述第2医疗支援装置的所述显示管理部基于接收的所述重叠信息，在所述视点图像的所述操作位置生成合成了所述重叠内容的图像。

14.一种医疗支援方法，是用于将用户的视野或操作在用户间共享的、具有进行与用户的视野相应的拍摄并取得拍摄信号的摄像部的医疗支援装置的医疗支援方法，具有以下步骤，

取得与所述摄像部的姿势相关的信息，

取得与所述摄像部的拍摄位置相关的信息，

根据由所述摄像部取得的所述拍摄信号，检测安装了该医疗支援装置的用户的操作及进行了该操作的操作位置；

将所述拍摄信号、与所述姿势相关的信息、以及与所述拍摄位置相关的信息对应起来进行管理；

基于检测出的所述操作决定重叠内容，并且基于所述拍摄信号、与所述姿势相关的信息、以及与所述拍摄位置相关的信息，决定与所述操作位置相关的信息，并生成包含所述重叠内容以及与所述操作位置相关的信息的重叠信息；

根据所述拍摄信号生成视点图像，并在该视点图像的所述操作位置生成并显示合成了所述重叠内容的图像；以及

将所述重叠信息发送到至少一个其他医疗支援装置。

Images