CN105848559B - 医疗用运动图像记录再现系统以及医疗用运动图像记录再现装置 - Google Patents

Abstract

为了提供一种在内窥镜检查中具有高操作性且能够易于掌握到达患部的插入路径的技术，医疗用运动图像记录再现系统(100)的图像处理部(11)基于来自摄像部(3)的摄像信号来生成被摄体的运动图像数据。特征点信息生成部(14)针对运动图像数据的指定的帧生成特征点信息。服务器(4)将特征点信息与运动图像数据相关联地记录。再现控制部(16)基于从服务器(4)读出的一个以上的运动图像数据来控制过去的运动图像的再现。合成部(12)生成并输出合成图像数据，该合成图像数据是将来自图像处理部(11)的实时的运动图像数据和来自再现控制部(16)的过去的运动图像数据以使实时运动图像和过去的运动图像同时显示的方式合成的图像数据。监视器(2)显示基于合成图像数据的合成图像。再现控制部(16)进行在过去的运动图像数据的带有特征点信息的帧使再现暂时停止的控制。

Description

医疗用运动图像记录再现系统以及医疗用运动图像记录再现 装置

技术领域

本发明涉及一种对用医疗设备拍摄到的医疗用的运动图像进行记录并再现所记录的运动图像、拍摄中的运动图像的医疗用运动图像记录再现系统以及医疗用运动图像记录再现装置。

背景技术

以往，在内窥镜检查中，为了再次确认前次的检查中发现的患部而要从过去的检查中拍摄到的内窥镜影像中找出患部的图像并将静止图像以PinP(画中画)显示。或者，将用磁带录像机(VTR)记录的内窥镜影像以PinP显示。手术操作者参照PinP显示的患部的静止图像或过去的内窥镜影像，来在本次的检查中找出对应的位置，对与前次相比患部如何变化进行观察来进行诊断等。

关于能够以短时间且简单的操作来显示、再现有用的运动图像的医疗图像记录装置，公开了以下一种技术：从获取到的医疗用的运动图像中检测特征点，在再现运动图像时，从检测出特征点的时间点起再现运动图像(例如，专利文献1)。

专利文献1：日本特开2011-36370号公报

发明内容

发明要解决的问题

在一边再现过去拍摄得到的影像一边进行内窥镜检查、在过去的影像中的出现患部的位置使再现停止并与拍摄中的影像的对应的位置进行比较的方法中，使过去的影像停止的操作是经由与内窥镜装置连接的键盘等来进行的。因此，在灭菌区域进行检查的手术操作者自己无法进行使过去的影像的再现停止的操作，需要处于非灭菌区域内的手术操作者以外的人来进行该操作。

另外，根据上述的专利文献1所记载的技术，从过去的运动图像中的检测出特征点的位置起进行再现。由于并不是从检查开始起再现影像，因此对手术操作者来说，有时难以掌握插入路径，从而在内窥镜检查中为了寻找患部的位置而花费功夫。

这样，对作为内窥镜装置的用户的手术操作者来说，期望一种操作性高且能够在内窥镜检查中容易想象到达患部的插入路径的技术。

本发明的目的在于，提供一种在内窥镜检查中具有高操作性且能够易于掌握到达患部的插入路径的技术。

用于解决问题的方案

根据本发明的一个方式，是一种进行医疗用运动图像数据的记录和再现的医疗用运动图像记录再现系统，其特征在于，具备：摄像部，其配备在内窥镜装置，拍摄被检体来获取摄像信号；运动图像数据生成部，其基于从所述摄像部输出的所述摄像信号来生成所述被检体的运动图像数据；特征点信息生成部，其针对构成所述运动图像数据的帧中的、探测到钳子穿过所述内窥镜装置的钳子孔而插入的时刻的帧生成特征点信息；记录部，其将所述特征点信息与所述运动图像数据的对应帧相关联地记录；以及再现控制部，其对从所述记录部读出的一个以上的运动图像数据的再现进行控制，其中，所述再现控制部进行以下控制：在所述运动图像数据的带有所述特征点信息的帧使再现暂时停止。

另外，根据本发明的其它的一个方式，是一种进行医疗用运动图像数据的记录和再现的医疗用运动图像记录再现装置，其特征在于，具备：运动图像数据生成部，其基于从内窥镜装置所具备的拍摄被检体的摄像部输出的摄像信号来生成所述被检体的运动图像数据；特征点信息生成部，其针对构成所述运动图像数据的帧中的、探测到钳子穿过所述内窥镜装置的钳子孔而插入的时刻的帧生成特征点信息；记录部，其将所述特征点信息与所述运动图像数据的对应帧相关联地记录；以及再现控制部，其对从所述记录部读出的一个以上的运动图像数据的再现进行控制，其中，所述再现控制部进行以下控制：在所述运动图像数据的带有所述特征点信息的帧使再现暂时停止。

发明的效果

根据本发明，在内窥镜检查中，具有高操作性，且手术操作者易于掌握到达患部的插入路径。

附图说明

图1是医疗用运动图像记录再现系统的整体结构图。

图2是医疗用运动图像记录再现系统的整体框图。

图3是例示基于由合成部合成得到的合成图像数据而在监视器中显示的合成图像的图。

图4是表示内窥镜观察装置的视频处理器中的合成部的详细模块的图。

图5是例示显示模式的选择画面的图。

图6是表示显示模式的具体例子的图。

图7是说明向监视器的显示方式的变更例的图。

具体实施方式

下面，参照附图来详细地说明本发明的实施方式。

<第一实施方式>

图1是本实施方式所涉及的医疗用运动图像记录再现系统的整体结构图。图1所示的医疗用运动图像记录再现系统100具有内窥镜观察装置1、监视器2、内窥镜3、图像归档服务器(以下简称为服务器)4、键盘5、无线LAN(Local Area Network：局域网)6以及平板PC(Personal Computer：个人计算机)7。

图1的医疗用运动图像记录再现系统100在内窥镜检查中通过内窥镜观察装置1对由内窥镜3获取到的摄像信号实施需要的处理，来得到运动图像数据。所得到的运动图像数据记录到服务器4中。还能够将已记录在服务器4中的运动图像数据读取出来后通过内窥镜观察装置1的视频处理器进行处理，通过监视器2再现。能够经由内窥镜3的操作开关、键盘5、平板PC 7等各种输入单元来进行内窥镜检查和运动图像数据的记录、再现所需的各种信息的输入和设定。

在构成医疗用运动图像记录再现系统100的各装置中，内窥镜观察装置1是视频处理器、光源装置、监视器2等装置组织成推车状而形成的装置，对由内窥镜3获取到的医疗用运动图像实施需要的处理后输出到监视器2来使监视器2进行显示。

内窥镜3的前端部被插入到被检体的体腔内，内窥镜3将获取到的体腔内的摄像信号输出到内窥镜观察装置1。监视器2从内窥镜观察装置1接收通过内窥镜观察装置1的视频处理器进行摄像信号处理而得到的运动图像数据，来使运动图像显示在画面上。

服务器4经由无线LAN路由器6接收在内窥镜观察装置1中进行图像处理后得到的运动图像数据，并记录所接收到的运动图像数据。在本实施方式中，服务器4将患者信息、特征点信息与运动图像数据相关联地记录，其中，患者信息用于识别被检体即患者，特征点信息是表示运动图像数据中的由手术操作者等指定的帧图像的信息。关于特征点信息的详细内容，参照图2等在后面详细地说明。

此外，如图1所示，在本实施方式中，内窥镜观察装置1、服务器4以及平板PC 7是经由无线LAN而相互连接的结构，但是不限于此，也可以是经由有线LAN而连接的结构。另外，各装置之间的网络不限于LAN，也可以使用公知的各种网络。

键盘5是用于对所连接的内窥镜观察装置1输入各种设定、指示的输入单元之一。作为从键盘5输入的设定、指示，除了与内窥镜检查有关的设定、指示以外，还包括运动图像数据的再现、再现的停止等与运动图像数据在监视器2中的再现有关的指示、特征点信息的赋予等指示。

平板PC 7与键盘5同样，是用于输入与运动图像数据在监视器2中的再现有关的指示、特征点信息的赋予等指示的输入单元之一。

在本实施方式所涉及的医疗用运动图像记录再现系统100中，在内窥镜检查中，首先，内窥镜观察装置1基于用于识别即将要进行检查的患者的患者信息，来确认服务器4中是否已经记录有患者信息一致的运动图像数据。在服务器4中记录有患者信息一致的运动图像数据时，将该运动图像数据经由无线LAN路由器6发送到内窥镜观察装置1。内窥镜观察装置1将从内窥镜3接收到的运动图像实时地显示在监视器2中，与此同时，基于从服务器4接收并保存到本装置的存储器等中的运动图像数据来将过去的运动图像显示在监视器2中。在监视器2中，再现过去的运动图像，并且显示由内窥镜3进行拍摄中的实时运动图像。手术操作者将内窥镜3插入患者的体腔内，并参照过去的运动图像来判断需要精查的位置、即在过去的运动图像中出现患部等的位置，并进行观察。

运动图像的再现、停止、快进以及倒回等操作构成为能够经由内窥镜3的位于手术操作者的手边的操作开关或在图1中未图示的脚边的脚踏开关、由处于非灭菌区域的工作人员等操作的键盘5来进行。除此以外，例如构成为还能够在检查后对服务器4中记录的运动图像进行再次确认时经由平板PC7等来进行运动图像的再现、停止、快进以及倒回等操作。如上所述，关于对运动图像数据赋予特征点信息的操作，也能够使用这些手段来进行。

根据本实施方式所涉及的医疗用运动图像记录再现系统100，在内窥镜检查中，事先将出现了患部部等的帧图像与上述的特征点信息相关联地记录。在日后再次进行内窥镜检查时，从服务器4读出这些数据和信息，来在监视器2中再现、显示过去的运动图像，在赋予了特征点信息的帧图像的位置使过去的运动图像的再现暂时停止。以下，对医疗用运动图像记录再现系统100对运动图像数据赋予特征点信息并在之后的检查中利用该特征点信息的方法进行具体说明。

图2是本实施方式所涉及的医疗用运动图像记录再现系统100的整体框图。此外，在图2中，作为医疗用运动图像记录再现系统100的结构，省略了图1的键盘5、无线LAN路由器6，添加了脚踏开关8和USB(Universal Serial Bus：通用串行总线)存储器9。另外，在图2中，只记载了与本实施方式所涉及的医疗用运动图像的记录、再现的方法有关的结构，而省略了其它结构的记载。

内窥镜3具有摄像部31、内窥镜开关32以及处置器具插入探测部33。摄像部31具有透镜、CCD(Charge Coupled Device：电荷耦合元件)，获取被检体摄像信号。内窥镜开关32配置于手术操作者在手边所使用的操作部，对内窥镜观察装置1的视频处理器50施加内窥镜检查的各种操作、拍摄中的运动图像的特征点信息的赋予的指示。处置器具插入探测部33例如包括在设置于内窥镜3前端的钳子孔处设置的传感器，通过传感器来探测作为用户的手术操作者将钳子穿过钳子孔而利用了钳子。在第一变形例的说明中详细叙述处置器具插入探测部33的探测结果的利用方法。

脚踏开关8用于进行内窥镜检查或手术中的内窥镜3的操作、与运动图像的再现或特征点信息的赋予有关的各种操作的输入。

平板PC 7具有声音输入接收部71和声音输入发送部72。在本实施方式中，在平板PC 7中，当通过声音输入接收部71接收到用户的声音输入时，声音输入发送部72将被输入到平板PC 7的声音数据向视频处理器50发送。视频处理器50经由平板通信部22来接收从平板PC 7的声音输入发送部72发送来的声音数据。

此外，接收到声音数据的视频处理器50通过在图2中未图示的解析部解析声音数据来获取需要的信息，将获取到的信息提供给构成视频处理器50的各部。另外，平板PC 7与视频处理器50之间的通信并不限定于图2所例示的声音数据的通信。

内窥镜观察装置1的视频处理器50具有图像处理部11、合成部12、记录用运动图像数据生成部13、运动图像记录区域14、解码器15、再现控制部16、触发识别部17、触发类型信息生成部18、帧序号数据生成部19、时间戳生成部20、插入长度数据生成部21、平板通信部22、插入长度探测部23、特征点信息生成部24、特征点信息记录区域25以及处理器内部存储器26。视频处理器50对由内窥镜3的摄像部31拍摄得到的摄像信号实施需要的处理来得到运动图像数据，并将运动图像数据输出到监视器2。

在视频处理器50中，图像处理部11对从内窥镜3输入的摄像信号实施需要的图像处理，来得到运动图像数据。合成部12生成合成图像数据，并将该合成图像数据发送到监视器2，该合成图像数据是将从图像处理部11输入的运动图像数据、即实时运动图像的数据和从服务器4、USB存储器9读出的过去的运动图像数据以使基于实时运动图像数据的实时运动图像和基于过去的运动图像数据的过去的运动图像同时显示在监视器2上的方式合成的图像数据。

记录用运动图像数据生成部13例如包括编码器，对从图像处理部11输入的运动图像数据实施编码等需要的处理。对于记录用运动图像数据，除了与上述的特征点信息相关联地记录以外，还可以与帧序号、时间戳、内窥镜3的插入长度等各种信息相关联地记录。

运动图像记录区域14是用于暂时保持由记录用运动图像数据生成部13生成的记录用的运动图像数据或从服务器4、USB存储器9读出的运动图像数据的区域。

解码器15对运动图像记录区域14中保持的运动图像数据进行解码。解码后的运动图像数据被提供给再现控制部16。

再现控制部16基于在解码器15中解码后的运动图像数据以及与该运动图像数据相关联的特征点信息来控制过去的运动图像的再现。再现控制部16将正在被控制再现的过去的运动图像的数据同特征点信息一起输出到合成部12。

对视频处理器50中的与特征点信息的生成有关的结构进行说明。

触发识别部17对用户的操作进行识别，该用户的操作成为将特征点信息与同该特征点信息对应的帧图像关联时的触发。成为触发的用户的操作是指内窥镜开关32、脚踏开关8、平板PC 7以及图2中未图示的图1的键盘5等的操作。如上所述，与平板PC 7之间的通信是经由平板通信部22进行的。

触发类型信息生成部18生成表示由触发识别部17识别出的用户的操作是通过哪个单元输入的操作的信息。具体地说，触发类型信息例如是内窥镜3(的内窥镜开关32、处置器具插入探测部33)、脚踏开关8、平板PC 7、键盘5等。

当从内窥镜3等进行特征点信息赋予的操作时，帧序号数据生成部19生成表示对应的帧图像的帧序号的数据。时间戳生成部20检测进行了特征点信息赋予操作的日期时间，来生成时间戳。插入长度数据生成部21基于由插入长度探测部23探测出的、进行了特征点信息赋予操作的时刻的内窥镜3的插入长度来生成内窥镜3的插入长度数据。关于在插入长度数据生成部21中根据插入长度探测部23的探测结果来生成插入长度数据的技术，使用了公知的技术。在第二变形例的说明中详细叙述插入长度数据的具体的利用方法。

特征点信息生成部24根据从触发类型信息生成部18、帧序号数据生成部19、时间戳生成部20以及插入长度数据生成部21输入的数据来生成特征点信息。特征点信息包括与手术操作者、其它医疗用运动图像记录再现系统100的用户对内窥镜开关32等进行操作的时刻对应的帧图像的帧序号、时间戳、内窥镜3的插入长度等。特征点信息也可以包括除此以外的信息，还可以是包括其中的一部分的结构。被赋予了特征点信息的帧图像表示是用户从运动图像中指定的出现了患部等的帧图像。

特征点信息记录区域25是用于事先保持视频处理器50内生成的特征点信息的区域。在实施方式中，除了特征点信息以外，观察模式(普通光观察模式、窄频带光观察模式、荧光观察模式、红外光观察模式等)等拍摄条件也保持在特征点信息记录区域25中。视频处理器50将特征点信息记录区域25的特征点信息等信息与上述的运动图像记录区域14中保持的运动图像数据相关联地记录到服务器4、USB存储器9中。

回到再现控制部16的动作的说明，再现控制部16参照特征点信息的帧序号，在过去的运动图像数据中的与特征点信息对应的帧序号的帧使再现暂时停止。

合成部12基于从图像处理部11输入的实时运动图像的数据和从再现控制部16输入的过去的运动图像的数据，来生成使监视器2显示的合成图像数据，并将生成的合成图像数据输出到监视器2。在通过再现控制部16暂时停止了过去的运动图像的情况下，生成过去的运动图像在赋予了特征点信息的帧静止的状态的合成图像数据，并将合成图像数据输出到监视器2。监视器2基于从合成部12接收到的合成图像数据来显示合成图像。

图3是例示基于由合成部12合成得到的合成图像数据而在监视器2上显示的合成图像的图。

在图3所示的例子中，在监视器2上并列地显示实时运动图像P1和过去的运动图像P2。另外，如图3所示，也可以在过去的运动图像P2的旁边显示进度条PB。

图3的进度条PB显示了过去的内窥镜检查的运动图像的从开始到结束的期间内的被赋予了特征点信息的时刻在运动图像中的相对位置以及其从运动图像开始起的经过时间。具体地说，过去的运动图像P2的拍摄时间T为20分钟，在运动图像P2中赋予了特征点信息f1、f2以及f3这三个特征点信息。而且，特征点信息f1、f2以及f3分别被赋予到从运动图像的开始时间起“5分钟”、“7分钟”以及“12分钟”的时刻，以对作为用户的手术操作者等来说在视觉上容易掌握的方式显示。

手术操作者参照进度条PB，来确认插入内窥镜3开始检查(开始运动图像的拍摄)起到被赋予了特征点信息的位置、即到患部等为止的需要时间等。如上所述，在被赋予了特征点信息f1～f3的帧使过去的运动图像P2暂时停止。手术操作者参照进度条PB来判断患部等的位置，并将被赋予了特征点信息f1～f3的过去的患部等的帧图像与实时运动图像之间进行比较，来进行精查。

如前面也已叙述的那样，图2的视频处理器50事先将通过合成部12而与实时运动图像合成的过去的运动图像的数据同特征点信息相关联地记录到服务器4、USB存储器9中。

服务器4具有运动图像记录区域41、特征点信息记录区域42以及特征点信息生成部43。运动图像记录区域41是用于记录从内窥镜观察装置1的视频处理器50接收到的运动图像数据的区域。特征点信息记录区域42是用于记录从视频处理器50同运动图像数据一起接收到的特征点信息的区域。特征点信息生成部43的动作与视频处理器50的特征点信息生成部24同样，根据直接或经由网络而间接地输入到服务器4的信息来生成特征点信息。

USB存储器9具有运动图像记录区域91和特征点信息记录区域92。运动图像记录区域91和特征点信息记录区域92分别与服务器4的运动图像记录区域41和特征点信息记录区域42同样，分别是用于保持运动图像数据的区域和用于保持特征点信息的区域。

此外，处理器内部存储器26是设置于处理器50内的存储单元。如图2所示，处理器内部存储器26具有运动图像记录区域27和特征点信息记录区域28。运动图像记录区域27和特征点信息记录区域28与服务器4、USB存储器9同样，分别是为了保持运动图像数据而设置的区域和为了保持特征点信息而设置的区域。

这样，根据本实施方式所涉及的医疗用运动图像记录再现系统100，在内窥镜观察装置1的视频处理器50中，使过去的同一患者(信息)的检查的运动图像同实时运动图像即在内窥镜检查中进行拍摄中的影像一起显示在监视器2上。过去的运动图像从检查开始起再现，在被赋予了特征点信息的位置暂时停止。由此，手术操作者不需要委托非灭菌区域的工作人员来在过去的检查中赋予了特征点信息的患部等位置使过去的运动图像暂时停止，就能够容易地掌握到达患部的内窥镜3的插入路径来进行检查。

此外，在上述中，对在一台监视器2上并列显示实时运动图像和过去的运动图像双方的情况进行了说明，但是本实施方式所涉及的医疗用运动图像的记录再现方法并不限于此。例如，也可以使实时运动图像和过去的运动图像显示在不同的监视器上。由此，能够由用户根据监视器2的使用环境等任意地决定各监视器的配置。

<第一变形例>

在上述中，通过内窥镜3的操作开关等、或者通过与内窥镜观察装置1连接的键盘5、能够经由无线LAN路由器6与内窥镜观察装置1进行无线通信的平板PC 7，来进行特征点信息的赋予。与此相对地，在本变形例中，由图2的处置器具插入探测部33来确认钳子等处置器具已被插入，将其判断为特征点信息赋予的触发。

内窥镜观察装置1的视频处理器50当探测出钳子等处置器具已穿过内窥镜3的钳子孔插入时，判断为在探测到插入时的内窥镜3的位置处存在患部等。然后，对探测到钳子的插入的时间点的帧图像赋予特征点信息。

通过采取这种结构，能够简便地对运动图像数据中的、在再次检查等中要参照的帧图像关联特征点信息。

<第二变形例>

在上述中，当内窥镜检查开始时，与其一并开始过去的运动图像的再现。与此相对地，在本变形例中，从与医疗用运动图像记录再现系统100的用户经由键盘5、平板PC 7等输入单元指定的内窥镜3的插入长度相应的位置起再现过去的运动图像。

如上所述，在特征点信息中包含内窥镜3的插入长度。利用该情况，视频处理器50根据多个特征点信息中的内窥镜3插入长度数据来计算与用户所指定的插入长度对应的帧序号，从此处开始过去的运动图像的再现。

由此，在从检查的开始起到最初的被赋予了特征点信息的帧为止的期间长这种情况、事前已判明只需要规定的位置的图像这种情况等下，能够使运动图像从用户需要再现的位置起再现。

<第二实施方式>

在上述实施方式中，如图3那样，采取将实时运动图像和过去的运动图像并列地显示在监视器2上的结构。根据本实施方式所涉及的医疗用运动图像记录再现系统100，进一步采取考虑了手术操作者等用户一边将实时运动图像与过去的运动图像之间进行比较一边进行检查时的便利性的向监视器2的显示方法。以下，参照图4～图7来具体地说明基于本实施方式所涉及的医疗用运动图像记录再现系统100的运动图像向监视器2的显示方法。

此外，在以下中，以与上述的实施方式不同的点为中心进行说明，与上述的实施方式相同的点省略说明。医疗用运动图像记录再现系统100的系统结构如之前参照图1、图2所说明的那样。

图4是表示内窥镜观察装置1的视频处理器50中的合成部12的详细模块的图。参照图4，首先，具体地说明怎样将实时运动图像与过去的运动图像合成来生成监视器2上显示的合成图像。

如图4所示，合成部12具有实时观察用文字数据生成部51、实时观察用文字数据重叠部52、实时观察运动图像用显示框重叠部53、文字数据重叠位置设定部54、记录运动图像用文字数据生成部55、拍摄条件识别部56、记录运动图像用文字数据重叠部57、显示框形状设定部58、记录运动图像用显示框重叠部59、加法部60、显示内容存储区域61、显示内容选择部62以及显示内容选择类型存储区域63。

在分别根据从图2的图像处理部11输入的实时运动图像数据和从再现控制部16输入的过去的运动图像数据来将实时运动图像和过去的运动图像显示在监视器2上时，文字数据重叠位置设定部54对表示各运动图像是实时运动图像和过去的运动图像中的哪一个的文字等的位置进行设定。这些文字等的位置是基于用户经由图1的平板PC 7、键盘5等而设定的内容来决定的。

实时观察用文字数据生成部51生成表示是监视器2上显示的两个运动图像中的实时运动图像的文字数据。实时观察用文字数据重叠部52使实时观察用文字数据生成部51中生成的文字数据重叠于从图像处理部11输入的实时运动图像的数据。实时观察运动图像用显示框重叠部53还使实时运动图像用的显示框重叠于由实时观察用文字数据重叠部52将文字数据重叠到实时运动图像而得到的数据。

拍摄条件识别部56根据从再现控制部16输入的信息来获取运动图像的拍摄条件。作为拍摄条件，例如能够例举观察模式、即基于普通光观察和特殊光观察(窄频带光观察、荧光观察、红外光观察等)中的哪一种等。记录运动图像用文字数据生成部55基于由拍摄条件识别部56获取到的拍摄条件，来生成用于显示是监视器2上显示的两个运动图像中的过去的运动图像及其拍摄条件的文字数据。记录运动图像用文字数据重叠部57使由记录运动图像用文字数据生成部55生成的文字数据重叠于从再现控制部16输入的过去的运动图像的数据。记录运动图像用显示框重叠部59还使过去的运动图像用的显示框重叠于由记录运动图像用文字数据重叠部57将文字数据重叠到过去的运动图像而得到的数据。

在本实施方式中，作为过去的运动图像用的显示框，设定与实时运动图像用的显示框不同的形状等，以使用户在监视器2上容易地与实时运动图像之间进去区别。显示框形状设定部58按照用户经由平板PC 7、键盘等输入单元设定的显示模式来设定过去的运动图像的显示框。记录运动图像用显示框重叠部59使由显示框形状设定部58设定的过去的运动图像用的显示框重叠于过去的运动图像及文字数据。

在加法部60中，将对实时运动图像和过去的运动图像的数据叠加了各自的文字数据和显示框而得到的数据分别配置在画面上的规定的位置，来生成使监视器2显示的合成图像数据，并将该合成图像数据输出到监视器2。

如上所述，在本实施方式所涉及的医疗用运动图像记录再现系统100中，关于对实时运动图像和过去的运动图像的数据使用什么、怎样使用来作为被重叠的文字、显示框，能够由用户来选择期望的文字、显示框。显示内容选择部62接受关于这些文字、显示框的由用户经由平板PC 7等上述的各种输入单元选择的内容。显示内容选择类型存储区域63是用于事先存储医疗用运动图像记录再现系统100所能够提供的各种能够显示的文字、显示框的类型的区域。显示内容存储区域61是用于事先存储用户从显示内容选择类型存储区域63中存储的各种的文字、显示框的类型中选择出的结果的区域。在以下中，将医疗用运动图像记录再现系统100能够向用户提供的文字、显示框等的显示方式的类型作为“显示模式”。

在本实施方式中，用户能够经由显示在监视器2上的模式选择画面而选择显示模式。参照图5和图6来对此进行说明。

图5是例示显示模式的选择画面的图。图5的(a)例示出显示模式的设定变更画面W1，图5的(b)例示出显示用户能够设定的显示模式的一览的画面W2。

在用户经由平板PC 7、键盘等在图5的(a)的显示模式设定变更画面W1中选择了“图像显示选择模式”的情况下，内窥镜观察装置1的视频处理器50按照显示内容存储区域61中保存的信息来在监视器2上显示图5的(b)的显示模式一览画面W2。在用户选择了图5的(a)的显示模式设定变更画面W1的“通常模式”的情况下，当通常模式下显示在监视器2上的文字、显示框的信息保持在显示内容选择类型存储区域63时，视频处理器50例如将显示切换到图3所例示的画面。

在图5的(b)的显示模式一览画面W2中，例示出8种显示模式。用户从图5的(b)的画面W2中选择一种显示模式。合成部12将与所选择的显示模式对应的文字、显示框的信息保持在显示内容选择类型存储区域63中，以后的运动图像向监视器2的显示是按照该显示模式进行的。

此外，在图5的(b)中，虽然由于篇幅的限制而省略了记载，但是也可以在画面W2中表示各显示模式的样本画面，并设定为用户所选择的显示模式。在图6的(a)～(h)中示出显示模式的具体例。

在图6的(a)、图6的(b)的显示模式下，在各运动图像的显示框内示出文字“实时”和“过去(AFI模式)”，文字“实时”表示运动图像是实时运动图像，文字“过去(AFI模式)”表示运动图像是过去的运动图像。其中，在图6的(a)中，将文字显示在显示框内的上部，在图6的(b)中，将文字显示在显示框内的下部。在本实施方式中，如图所例示的那样，使表示过去的运动图像的观察模式是AFI(荧光观察)模式的文字也同表示是过去的运动图像的文字一并显示。

在图6的(c)、图6的(d)的显示模式下，在各运动图像的显示框外示出表示运动图像分别是实时运动图像和过去的运动图像的文字。在图6的(c)中，在显示框外的框附近中的上部显示文字，在图6的(d)中，在显示框外的框附近中的下部显示文字。

在图6的(e)、图6的(f)的显示模式下，将过去的运动图像的显示框设为与实时运动图像的显示框不同的颜色、形状，以避免用户将监视器2上的实时运动图像和过去的运动图像混淆。在图6的(e)中，以双重的矩形包围过去的运动图像的显示框，在图6的(f)中，将过去的运动图像的显示框设为圆形，由此设为与实时运动图像的单重的矩形的显示框不同的形状。

在图6的(g)、图6的(h)的显示模式下，使多个过去的运动图像同时显示在监视器2。在图6的(g)中，使两个过去的运动图像同实时运动图像一起显示，过去的运动图像是在本次的检查中参照的影像，因此显示得与实时运动图像相比相对小。另外，在本实施方式中，还一并显示过去的运动图像的各自的拍摄条件，以使得用户还能够对过去的运动图像之间进行识别。图6的(h)是使三个过去的运动图像同实时运动图像一起显示的情况。与图6的(g)同样，过去的运动图像显示得与实时运动图像相比相对小。过去的运动图像的显示框设为圆形，以使用户一看就能够判断出是过去的运动图像。另外，与图6的(g)同样，还显示过去的运动图像的各自的拍摄条件。

此外，图6所例示的显示模式不限于图示的显示模式，也可以将这些显示模式适当组合。

另外，在图6中，例示了以文字显示观察模式来作为过去的运动图像的拍摄条件的情况，但是以文字显示的拍摄条件不限于此。在观察模式的基础上、或者除了观察模式以外，例如也可以显示用于识别内窥镜的信息、放大倍率等信息。还能够是以下结构：使用户还对是否显示这些拍摄条件、以及在显示的情况下显示哪些信息进行选择并基于用户的选择进行显示。

另外，除了通过如图5所例示那样的显示模式变更画面来进行设定变更以外，要使画面上显示的文字的位置从默认位置移动，也可以设为能够由用户通过对触摸面板监视器、平板PC 7进行操作等来进行变更的结构。由此，例如，从图6的(a)的在显示框内的上部显示文字的显示模式变更为如图6的(b)那样的在显示框内的下部显示文字的显示模式、或者图6的(c)的在显示框外的框附近显示文字的显示模式。

此外，关于以文字显示的拍摄条件，从服务器4、USB存储器9或者视频处理器50读出与过去的运动图像数据对应地记录的信息，来显示该拍摄条件。

并且，视频处理器50的合成部12还能够构成为根据运动图像的图像的状态来变更显示方式。参照图7来对此进行说明。

图7是说明向监视器2的显示方式的变更例的图。

关于内窥镜观察影像，根据观察模式、体腔内的观察位置的不同，有时图像本身会变暗。在设定了将上述的各种文字显示于显示框内的显示模式的情况下，当图像发黑时，对用户来说有时难以读取显示框内的文字。因此，还可以是以下结构：通过将图7的阴影的区域的颜色值与规定的阈值之间进行比较等，来判定阴影区域内的图像的颜色值接近了文字的颜色值并将文字颜色切换为例如白色。这样，使文字颜色实时地自动切换以使文字颜色与作为背景的图像之间的对比变得分明，由此有效地防止用户由于图像而难以读取文字。

能够设为用户能够对是否进行文字颜色的切换任意地进行设定的结构。即，在用户进行了表示将文字颜色固定这种意思的设定的情况下，能够有效地防止根据图像的颜色值而频繁地切换监视器2上显示的文字颜色等。

如以上说明的那样，根据本实施方式所涉及的医疗用运动图像记录再现系统100，在内窥镜的操作中，用户能够设定期望的显示模式，以使手术操作者等用户易于识别监视器2上显示的多个运动图像中的哪一个是实时运动图像。通过按照该显示模式来显示实时运动图像和过去的运动图像，用户能够将各运动图像配置于期望的位置，从而能够有效地防止用户将实时运动图像与过去的运动图像混淆的情况。

另外，本发明并不被原样地限定于上述的实施方式，能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形来具体化。另外，通过上述实施方式所公开的多个结构要素的适当组合，能够形成各种发明。例如，也可以将实施方式所示的全部结构要素适当组合。并且，也可以将不同的实施方式中的结构要素适当组合。当然，能够在这样的不脱离发明的主旨的范围内进行各种变形、应用。

附图标记说明

1：内窥镜观察装置；2：监视器；3：内窥镜；4：图像归档服务器(服务器)；5：键盘；6：无线LAN路由器；7：平板PC；50：视频处理器；100：医疗用运动图像记录再现系统。

Claims (9)

1.一种医疗用运动图像记录再现系统，进行医疗用运动图像数据的记录和再现，该医疗用运动图像记录再现系统的特征在于，具备：

摄像部，其配备在内窥镜装置，拍摄被检体来获取摄像信号；

运动图像数据生成部，其基于从所述摄像部输出的所述摄像信号来生成所述被检体的运动图像数据；

特征点信息生成部，其针对构成所述运动图像数据的帧中的、探测到钳子穿过所述内窥镜装置的钳子孔而插入的时刻的帧生成特征点信息；

记录部，其将所述特征点信息与所述运动图像数据的对应帧相关联地记录；

再现控制部，其基于从所述记录部读出的一个以上的运动图像数据来控制至少一个过去的运动图像的再现；

合成部，其输出合成图像数据，该合成图像数据是将所述运动图像数据生成部中生成的实时的运动图像数据和从所述再现控制部提供的过去的运动图像数据以使基于所述实时的运动图像数据的实时运动图像和基于所述过去的运动图像数据的过去运动图像同时显示的方式合成的图像数据；以及

显示部，其显示基于从所述合成部输出的所述合成图像数据的合成图像，

其中，所述再现控制部进行以下控制：在所述过去的运动图像数据的带有所述特征点信息的帧使再现暂时停止。

2.根据权利要求1所述的医疗用运动图像记录再现系统，其特征在于，所述合成部生成合成了进度条的合成图像并将合成了进度条的所述合成图像输出到所述显示部，所述进度条表示从所述记录部读出并再现的过去的运动图像的再现状况。

3.根据权利要求1所述的医疗用运动图像记录再现系统，其特征在于，所述合成部生成重叠了文字的合成图像并将重叠了文字的所述合成图像输出到所述显示部，该文字表示所述显示部中显示的拍摄中的运动图像和过去的运动图像分别是拍摄中的运动图像和过去的运动图像。

4.根据权利要求1所述的医疗用运动图像记录再现系统，其特征在于，

所述合成部生成针对所述显示部中显示的各个拍摄中的运动图像和过去的运动图像重叠所指定的显示框的合成图像，并将重叠了所指定的显示框的所述合成图像输出到所述显示部。

5.根据权利要求1所述的医疗用运动图像记录再现系统，其特征在于，

所述合成部生成重叠了表示所显示的所述过去的运动图像的观察模式的文字的合成图像，并将重叠了表示所显示的所述过去的运动图像的观察模式的文字的所述合成图像输出到所述显示部。

6.根据权利要求3所述的医疗用运动图像记录再现系统，其特征在于，

所述显示部显示用户能够设定的重叠于所述运动图像的文字和显示框的类型，所述合成部使用用户从所述显示部所显示的所述类型中选择出的文字和显示框来生成重叠了所选择出的文字和显示框的所述合成图像。

7.根据权利要求1所述的医疗用运动图像记录再现系统，其特征在于，

所述特征点信息生成部在经由内窥镜装置的操作开关、脚踏开关、所述医疗用运动图像记录再现系统的键盘以及与所述医疗用运动图像记录再现系统连接的终端装置而指定的时刻生成所述特征点信息。

8.根据权利要求1所述的医疗用运动图像记录再现系统，其特征在于，还具备插入长度探测部，该插入长度探测部探测内窥镜装置的插入部向所述被检体的体腔内插入的插入长度，

所述再现控制部使所述过去的运动图像数据从与由用户指定的所述插入部的插入长度对应的位置起再现。

9.一种医疗用运动图像记录再现装置，进行医疗用运动图像数据的记录和再现，该医疗用运动图像记录再现装置的特征在于，具备：

运动图像数据生成部，其基于从内窥镜装置所具备的拍摄被检体的摄像部输出的摄像信号来生成所述被检体的运动图像数据；

特征点信息生成部，其针对构成所述运动图像数据的帧中的、探测到钳子穿过所述内窥镜装置的钳子孔而插入的时刻的帧生成特征点信息；

记录部，其将所述特征点信息与所述运动图像数据的对应帧相关联地记录；

再现控制部，其基于从所述记录部读出的一个以上的运动图像数据来控制至少一个过去的运动图像的再现；

合成部，其输出合成图像数据，该合成图像数据是将所述运动图像数据生成部中生成的实时的运动图像数据和从所述再现控制部提供的过去的运动图像数据以使基于所述实时的运动图像数据的实时运动图像和基于所述过去的运动图像数据的过去运动图像同时显示的方式合成的图像数据；以及

显示部，其显示基于从所述合成部输出的所述合成图像数据的合成图像，

其中，所述再现控制部进行以下控制：在所述过去的运动图像数据的带有所述特征点信息的帧使再现暂时停止。