CN109310300A - 内窥镜装置、信息处理装置以及程序 - Google Patents

Abstract

一种内窥镜装置、信息处理装置以及程序，在内窥镜装置中，容易对期望的场景进行回放显示。在能够进行动态图像记录、回放显示的内窥镜装置(100)中，当在记录动态图像的过程中操作者进行静止画面保存操作时，将与操作时的场景对应的帧图像(章节图像)作为元数据记录至视频文件。并且，在设定动态图像回放模式时，在LCD(136)中显示能够选择视频回放开始场景的编辑画面。此时，从视频文件中提取与章节图像相应的元数据，并在编辑画面进行一览显示。当操作者选择了期望的章节图像时，从该章节图像的场景使动态图像开始回放。

Description

内窥镜装置、信息处理装置以及程序

技术领域

本发明涉及对体内器官等进行拍摄，并根据需要进行处置等的内窥镜装置、信息处理装置以及程序，尤其是涉及动态图像的记录、回放处理。

背景技术

在内窥镜装置中，能够在观察中或者处置/手术中将通过观测器拍摄的图像作为动态图像进行记录。当操作者按下设置于观测器操作部或者处理器的前面板等的按钮时，动态图像数据被发送至与处理器连接的外部记录装置或者处理器内部的存储器，并被作为视频文件进行记录(例如，参照专利文献1)。

在横跨从手术等的作业开始直至作业完成的整个期间进行动态图像记录的情况下，在回放动态图像时，希望高效率地提取到期望的场景。因此，构成为能够从所记录的动态图像数据中提取特定场景的动态图像部分并进行回放显示(参照专利文献2)。

具体地，当将观测器从体外插入体内时等拍摄图像中发生了变化时，对该变化进行检测，并将编辑点作为元信息附加至动态图像记录数据，另外，将图像的类别、电手术刀装置等配套设备的使用状况作为元信息建立关联地记录。

在回放动态图像前的编辑画面中显示附加有编辑点的一系列缩略(缩小)图像，并且在菜单画面显示表示图像的类别的项目、表示配套设备的使用状况的项目。当操作者选择、设定了想要回放的场景的项目时，该场景的编辑点图像被显示，并通过执行操作来回放其视频部分。

现有技术文献

专利文献

专利文献1：日本特开2015-85029号公报

专利文献2：日本特开2016-7444号公报

发明内容

发明所要解决的技术问题

当在内窥镜装置侧自动提取作为回放开始(断点)的场景时，操作者并不知道动态图像记录中的哪个场景被提取。因此，在回放动态图像时，难以将由文字信息显示的项目与一系列提取出的影像场景建立关联，所提取的场景是哪个场景难以直观地理解，难以找出期望的场景。

从而，期望操作者容易地找出期望的场景并对动态图像进行回放显示。

用于解决技术问题的手段

根据本发明的内窥镜装置，具备：记录处理部，将实时动态图像作为视频文件记录于存储器；回放处理部，读取视频文件而在监视器中回放显示动态图像；以及编辑处理部，在显示部中显示能够选择回放开始场景的编辑画面，记录处理部在记录动态图像的过程中将与操作者指定的场景对应的帧图像(以下，章节图像)作为元数据保存至视频文件，编辑处理部提取与章节图像对应的元数据，并在编辑画面中显示章节图像，回放处理部从由操作者选择的章节图像的场景或由操作者选择的章节图像的场景前后的场景开始回放动态图像。在此，“前后的场景”是表示在章节图像之前预定帧数(例如数帧)或之后预定帧数(例如数帧)的帧图像，表示能看做几乎相同的被拍摄体的范围内的帧图像。

例如记录处理部能够将与操作者进行静止画面保存操作时的场景对应的章节图像作为元数据保存至视频文件。另外，编辑处理部能够将元数据中的帧图像作为静止画面文件抽出。

例如记录处理部也可以将观测器种类和图像处理设定内容中的至少任一方与章节图像一起作为元数据保存至视频文件。另外，编辑处理部能够将在所记录的动态图像数据中与开头场景对应的开头帧图像与章节图像一起进行显示，当操作者选择了开头帧图像，回放处理部从开头帧图像开始回放动态图像。

例如内窥镜装置的处理器能够显示内窥镜作业关联影像的同时与能够输出影像信号的外部配套设备连接。记录处理部能够将操作者进行静止画面保存操作时所显示的内窥镜作业关联静止图像作为元数据保存至视频文件。回放处理部也可以提取与内窥镜作业关联静止图像对应的元数据，并在回放动态图像时显示内窥镜关联静止图像。

另一方面，内窥镜装置的处理器能够与归档装置连接。回放处理部能够将实时动态图像与归档装置中记录的记录图像(包括任意静止图像、动态图像)同时显示，记录处理部能够将与操作者进行静止画面保存操作时的回放场景对应的回放帧图像作为元数据保存至视频文件。

根据本发明的其他方式的内窥镜装置的记录及回放方法，将实时动态图像作为视频文件记录于存储器，读取视频文件而在监视器中回放显示动态图像，并在显示部中显示能够选择回放开始场景的编辑画面，其中，在动态图像记录中，将与操作者指定的场景对应的帧图像(以下，章节图像)作为元数据保存至视频文件，提取与章节图像对应的元数据，并在编辑画面显示章节图像，从由操作者选择的章节图像的场景或由操作者选择的章节图像的场景前后的场景开始回放动态图像。

另一方面，从元数据记录的观点导出的内窥镜装置的处理器能够显示内窥镜作业关联影像，同时能够与能够输出影像信号的外部配套设备连接，并具备将实时动态图像作为视频文件记录至存储器的记录处理部。并且，记录处理部将操作者进行静止画面保存操作时所显示的内窥镜作业关联静止图像作为元数据保存至视频文件。具有同样的技术特征的内窥镜装置的处理器能够与归档装置连接，将实时动态图像作为视频文件记录至存储器的记录处理部和回放处理部能够将实时动态图像与所述归档装置中记录的记录图像同时显示，记录处理部将与操作者进行静止画面保存操作时的回放场景对应的回放帧图像作为元数据保存至视频文件。

根据本发明的其他方式的信息处理装置，具备：第一获取部，获取视频文件，所述视频文件包含动态图像以及与在拍摄所述动态图像的过程中的预定时刻所剪切出的章节图像相关的元数据；显示部，将从所述第一获取部所获取的所述视频文件中提取的所述章节图像进行一览显示；受理部，受理在所述显示部一览显示的所述章节图像中进行的选择；以及回放部，基于与所述受理部所受理选择的所述章节图像对应的时刻，回放所述动态图像。

本发明的其他方式的信息处理装置是，所述动态图像是使用内窥镜拍摄打破的图像，所述第一获取部获取包含于在操作了设置于所述内窥镜的按钮的时刻所剪切的章节图像相关的元数据的视频文件。

本发明的其他方式的信息处理装置，还具备：内窥镜连接部，连接所述内窥镜；以及记录部，基于经由所述内窥镜连接部获取的动态图像和时刻，记录所述视频文件。

本发明的其他方式的信息处理装置，还具备第二获取部，所述第二获取部获取所拍摄的实时图像，所述显示部将第二获取部所获取的实时图像与所述章节图像或与所述动态图像同时显示。

本发明的其他方式的程序，用于使计算机执行如下处理：获取视频文件，所述视频文件包含动态图像以及与在拍摄所述动态图像的过程中的预定时刻所剪切出的章节图像相关的元数据；将从所获取的所述视频文件中提取的所述章节图像进行一览显示；受理在一览显示的所述章节图像中进行的选择；以及基于与所受理选择的章节图像对应的时刻，回放所述动态图像。

发明效果

根据本发明，在内窥镜装置中，能够容易地回放显示期望的场景。

附图说明

图1是作为第一实施方式的内窥镜装置的框图。

图2是示出动态图像记录处理的流程图。

图3是示出所记录的动态图像数据的提取帧图像的图。

图4是回放动态图像前的编辑处理的流程图。

图5是示出显示于前面板的LCD的编辑画面的图。

图6是动态图像回放开始处理的流程图。

图7是示出第二实施方式中的实时图像及记录图像的同时显示画面的图。

图8是示出在第三实施方式的前面板的LCD中显示的编辑画面的图。

图9是第三实施方式中的图像回放处理的流程图。

图10是作为第四实施方式的内窥镜装置的框图。

图11是用于说明第四实施方式中的显示画面的说明图。

图12是示出第四实施方式的处理流程的流程图。

具体实施方式

[第一实施方式]

以下，参照附图对作为本发明的实施方式的内窥镜装置进行说明。

图1是作为第一实施方式的内窥镜装置的框图。

内窥镜装置100具备视频观测器110及处理器120，视频观测器110能够装拆自如地连接于处理器120。另外，处理器120与监视器150、键盘170连接，并且与归档装置140、生物体信息监测装置160连接。需要说明的是，视频观测器110是如后述那样使用图像传感器111对消化管等的内部进行观察时所使用的内窥镜的一个例子。

处理器120具备氙气灯等光源124，由光源124照射的光经由聚光透镜128入射至设置在视频观测器110内的导光件117的入射端。从导光件117射出的光经由配光透镜119A从观测器前端部110T朝向被拍摄体(观察对象)照射。在光源124与导光件117之间设置有光圈129，通过光圈129的开闭来调整照明光量。

由被拍摄体反射的照明光通过设置于观测器前端部110T的物镜119B成像，并在图像传感器111的光接收面形成被拍摄体像。由CMOS传感器或CCD等构成的图像传感器111被驱动电路113驱动，并以预定的场/帧间隔(例如1/60秒或者1/30秒间隔)从图像传感器111读取一个场或一个帧的像素信号。在图像传感器111的光接收面上布置有使Cy、Ye、G、Mg或R、G、B等滤色器排列而成的滤色器阵列(未图示)。

从图像传感器111读取的像素信号在模拟信号处理电路中被实施增幅处理等，之后被发送至处理器120的信号处理电路125。在信号处理电路125中，对数字像素信号实施颜色转换处理、伽马校正处理等图像信号处理。由此，生成R、G、B的彩色图像信号。

R、G、B图像信号暂时保存于RAM等图像存储器(未图示)，之后被发送至后级信号处理电路135。在后级信号处理电路135中，实施伴随操作者的输入操作的边缘增强处理、叠加处理、或者用于同时显示多个图像的编辑处理等。通过将影像信号输出至监视器150，使实时的观察图像作为动态图像在监视器150中显示。

包括CPU(Central Processing Unit)等的系统控制电路121向定时控制器127、电机130、后级信号处理电路135等输出控制信号，控制处理器120的工作。工作控制程序预先存储于存储器123。

观测器控制器115控制定时控制器114，并且根据来自定格按钮118等的按钮操作向系统控制电路121发送操作信号。若视频观测器110与处理器120连接，则读取存储于视频观测器110的存储器116的观测器关联数据，并保存至处理器120的RAM122。具体地，读取观测器型号名称等数据。

在通过视频观测器110的摄像而显示观察图像的期间，操作者能够通过对键盘170等进行操作而对动态图像进行记录。当进行动态图像记录操作时，在信号处理电路125中生成的各帧的图像数据在系统控制电路121中被进行压缩处理，并被作为视频文件记录至RAM122。另外，根据需要输出至归档装置140。在此，按照MPEG方式进行视频压缩处理。另外，如后所述，党操作者在动态图像记录中操作了定格按钮118时，该操作时的场景的帧图像数据被作为元数据进行记录。

在处理器120的前面板126设置有LCD136作为显示部，且与LCD136的画面框相配地设置有触摸面板138。操作者通过触摸所显示的边缘增强用标记、亮度等级标记的部分，从而执行图像处理、亮度调整等。另外，如后所述，在回放动态图像时，能够显示可选择动态图像回放开始场景的编辑画面。

归档装置140具备装置本体141和归档监视器142，装置本体141具备控制器144和存储器145。控制器144接收从处理器120发送来的图像数据等，并将其进行归档而记录至存储器145。当从处理器120有视频文件读取的指示时，从存储器145读取作为对象的视频文件，并将动态图像数据发送至处理器120。生物体信息监测装置160基于来自佩戴于患者的各种传感器的信号，在专用监视器165中显示心率、脉搏及其脉冲波形等。

图2是示出动态图像记录处理的流程图。图3是示出所记录的动态图像数据的提取帧图像的图。使用图2、图3对动态图像记录时的静止画面保存进行说明。

当通过操作者的操作开始动态图像记录处理(S101)时，操作者一边操作视频观测器110，一边使观测器前端部110T移动。并且，当显示有期望的场景的观察图像时，按下定格按钮118。当判断为操作者为了保存静止画面而操作了定格按钮118(S102)时，将该操作时的帧图像作为元数据记录至存储器123或者RAM122(S103)。

在图3中示出在动态图像记录中，操作者为了保存静止画面，操作了三次定格按钮118时的帧图像。从记录开始经过时间T1后的第J帧图像AJ相当于观测器前端部110T到达观察对象部位并进入视野范围时的图像。操作者进行帧图像保存，作为成为动态图像回放开始点(标识)的图像。具体地，附加帧图像AJ相关的元数据，并获取注释。

此时，将帧编号或者自视频开始的时刻的信息与观测器的种类、图像处理设定内容(边缘增强等)的信息一并作为元数据进行附加并记录至视频文件。进一步地，在本实施方式中，将帧图像AJ作为元数据m1进行附加并记录至视频文件。即，将帧图像AJ自身作为元数据m1进行处理。

在视频文件中，声音数据、压缩视频数据、声音和视频的同步数据等被储存于作未主要的储存区域的储存器，并且元数据也随着储存至预定区域。另外，在元数据中确定有上述的自记录开始的时刻、帧编号等记述元数据，并且确定有用户能够任意规定格式的元数据的区域，由操作者操作指定的帧图像数据被作为元数据进行储存。视频记录方式能够采用任意的方式(例如MP4、MXF格式等)。

从记录开始经过时间T2后的第M帧的帧图像AM是，与视频观测器110捕捉到病变部的场景对应的帧图像，操作者通过操作定格按钮118，将帧图像AM作为元数据m2进行附加并记录至视频文件。另外，第N帧的帧图像AN是与移动至不同部位时的对应于场景的帧图像，作为元数据m3进行附加并记录至视频文件。重复执行步骤S102～S104直至通过键盘170等进行动态图像记录完成操作为止(S104)，。

图4是回放动态图像前的编辑处理的流程图。图5是示出显示于前面板126的LCD136的编辑画面的图。图6是视频回放开始处理的流程图。使用图4～6对动态图像回放开始场景的选择、设定进行说明。

当通过由操作者对键盘170等进行的操作而设定动态图像回放模式时，显示图5所示那样的编辑画面。当由操作者检索成为回放对象的视频文件(S201)时，将其开头帧图像作为缩小图像(以下，称为缩略图像)显示于LCD136(S202)。此时，能够将除了章节图像以外作为元数据被记录的观测器种类、图像处理设定内容以文字信息显示。并且，判断在写入所检索的视频文件的元数据中，是否存在帧图像数据(S203)。

当帧图像数据作为元数据存在时，提取其元数据并作为编辑用图像(以下，称为章节图像)显示于LCD136(S204)。通过对所有的元数据执行步骤S203、S204(S205)，使包含于元数据的章节图像一览显示。其中，当元数据中未包含帧图像数据时，仅显示缩略图像，并显示表示未包含帧图像数据的文字信息。

在图5中，在编辑画面中显示有视频开头场景的缩略图像M0及所提取的章节图像C1、C2、C3。章节图像C1、C2、C3与图3的帧图像AJ、AM、AN分别对应。

在此，开头场景的缩略图像M0与章节图像C1～C3为同尺寸的图片，章节图像C1～C3按静止画面保存操作的顺序排列显示。操作者能够通过操作触摸面板138将一系列的章节图像C1～C3的场景选择为视频回放开始点。

需要说明的是，缩略图像M0与章节图像C1～C3的尺寸也可以不同。通过以使两者的尺寸不同的方式进行显示，操作者能够容易地区别缩略图像M0与章节图像C1～C3。章节图像C1～C3彼此的尺寸也可以彼此不同。

当操作者选择缩略图像(参照图6的S301)后，在监视器150从视频文件的开头场景开始回放动态图像(S302)。另一方面，当由操作者选择章节图像后，从与所选择的章节图像对应的场景开始回放动态图像(S303、S304)。具体地，基于从与章节图像一起作为元数据被记录的记录开始的时刻或者帧编号(例如，时刻T1、帧编号J)，从与该章节图像对应的帧图像开始回放。

如以上那样，根据本实施方式，在能够进行动态图像记录、回放显示的内窥镜装置100中，当在动态图像记录中操作者进行静止画面保存操作时，将与操作时的场景对应的帧图像(章节图像)作为元数据记录至视频文件。并且，在设定动态图像回放模式时，在LCD136显示有能够选择视频回放开始场景的编辑画面。此时，从视频文件提取章节图像相应的元数据，并在编辑画面一览显示。当操作者选择期望的章节图像时，从该章节图像的场景开始回放动态图像。

由于是按照操作者的意图对动态图像记录中的一个场景的静止图像数据进行记录，因此能够马上掌握在回放显示前的编辑画面显示的章节图像为哪个场景。另外，由于以嵌入动态图像文件的形式将帧图像数据作为元数据进行记录，能够不使动态图像、静止图像作为单独文件而进行记录。进一步地，由于静止图像数据与视频数据建立关联地作为元数据被记录，容易掌握记录了怎样状况的静止画面。尤其是，由于仅通过搜索并提取元数据中的图像数据便能够使章节图像一览显示，编辑画面的显示并不伴随复杂的处理。

另一方面，由于视频文件记录于处理器120内的存储器而非归档装置140，因此不需要专用的连接线缆、指令等。另外，由于观测器种类、图像处理设定内容也作为元数据被记录，因此能够在之后掌握视频记录时的作业状况等。

需要说明的是，也可以不从与章节图像对应的帧图像的场景，而是从其前后的场景开始回放动态图像。例如，在内窥镜操作中，在直至将观测器前端部110T送入观察对象部位为止而一边慢慢地拉回观测器前端部110T一边对部位进行观察的作业中进行动态图像记录处理的情况下，能够从章节图像数秒前的帧图像开始回放，从而不使期望场景错过。在该情况下，通过预先确定的偏移帧数或者时间，对附随于章节图像的记录时刻或者帧编号的元数据进行回放显示开始场景修正即可。

需要说明的是，关于元数据中的帧图像数据提取，也可以是从视频文件整体的数据中将帧图像数据作为静止画面文件取出，而非针对每个元数据取出静止图像数据。在该情况下，替代图4的步骤S203～S205，执行创建静止画面文件处理的步骤。

也可以将实时动态图像(实时图像)与记录动态图像在监视器150同时显示。例如，通过由操作者操作键盘170，能够设定同时显示模式。另外，也可以通过操作者操作观测器按钮以外的方法，在操作者指定的定时记录帧图像数据。关于编辑画面，也可以在处理器以外的显示部显示，例如，也可以构成为在监视器150显示。

当操作者使用键盘170进行了特定的输入操作时，或者，操作了脚踏开关时等，也可以将该操作时的场景的帧图像数据作为元数据记录至视频文件。元数据也可以是帧图像数据以外的数据。

[第二实施方式]

接下来，使用图7对作为第二实施方式的内窥镜装置进行说明。在第二实施方式中，能够将生物体信息监测装置及归档装置的图像数据作为元数据进行记录、回放显示。

图7是示出第二实施方式中的实时图像及记录图像的同时显示画面的图。

在第二实施方式中，当操作者进行静止画面保存操作时，不仅与在该操作时的场景对应的帧图像数据，在生物体信息监测装置160的专用监视器165中操作时所显示的生物体信息显示图像(静止图像)也被作为元数据进行记录。当生物体信息监测装置160从处理器120收到保存数据发送请求时，将在操作时显示的生物体信息显示画面数据作为静止图像数据发送至处理器120。在处理器120中，将发送来的静止图像数据作为元数据记录至视频文件。需要说明的是，也可以使用设置于处理器120的采集板(未图示)将静止图像数据作为影像信号捕获。

并且，当通过第一实施方式的说明中所示的编辑画面选择了章节图像时，伴随于该章节图像被记录的生物体信息显示图像，与开始回放动态图像记录一起显示。

在图7中示出回放动态图像时的监视器150中显示的实时动态图像I1、记录回放动态图像I2以及生物体信息显示图像I3。操作者通过从在过去记录的视频文件中示出与实时动态图像相同的部位的场景开始回放显示，从而能够使当前的部位的病情与过去的病情进行比较。另外，再通过在监视器150对过去的生物体信息显示图像进行确认，从而能够与当前在专用监视器165中显示的生物体信息进行比较。

进一步地，当操作者进行静止画面保存操作时，将此时所显示的实时图像的帧图像数据作为元数据进行记录，并且与此时所显示的记录回放动态图像的帧图像(回放帧图像)一起作为元数据记录。在归档装置140中，与在操作由控制器144恢复的动态图像数据时的场景对应的回放帧图像数据被发送至处理器120。需要说明的是，也可以从归档装置获取静止图像，并与实时动态图像同时回放显示静止图像，将该静止图像作为元数据进行记录。

图7中示出所记录的实时帧图像数据m5与回放帧图像数据m6。在此，作为一个元数据记录实时帧图像数据m5、回放帧图像数据m6。此时，也可以以添加有预先确定的注释的文字信息CM(请后续观察确认等)的形式进行记录。由此，能够对当前的患部的状态与过去的患部的状态进行比较观察。需要说明的是，关于注释，也可以为用户任意输入注释而保存注释数据，并在需要时记录注释。

需要说明的是，作为生物体信息图像数据的元数据的记录及回放显示也可以应用于仅如第一实施方式那样记录的动态图像的回放显示。另外，在第二实施方式中，也可以不进行作为生物体信息图像数据的元数据的记录及回放，而仅进行回放动态图像和实时动态图像的回放显示。在该情况下，也可以与实时动态图像的帧图像数据无关，而作为元数据记录。另外，也能够应用于能够通过生物体信息监测装置以外的外部配套设备输出影像信号的装置。

[第三实施方式]

本实施方式涉及重复回放与由操作者选择的章节对应的时刻左右的视频的内窥镜装置100。对于与第一实施方式共通的部分，省略说明。

图8是示出在第三实施方式的前面板126的LCD136中显示的编辑画面的图。由操作者单击缩略图像M0或者章节图像C1～C3时的工作与第一实施方式相同。

图8示出当由操作者双击章节图像C1时，在LCD136中显示的图像的例。所选择的章节图像C1的周围被粗框31包围，表示选择中。

在粗框31的内侧，以记录了章节图像C1的时刻作为中心，重复回放显示预定的重复时间范围的动态图像。重复时间为数秒，例如约3秒。粗框31的内侧区域是本实施方式的回放部的一个例子。

画面的下部显示有时间栏32。时间栏32的全长表示重复时间。时间栏32显示有光标33。光标33表示在重复时间的范围内粗框31中显示的图像被拍摄的时刻。需要说明的是，也可以通过由操作者操作键盘170或者触摸面板，从而能够适当变更重复时间及回放速度。

在内窥镜检查中，操作者在发现病变等重要部分时操作定格按钮118而记录静止图像。如在第一实施方式中说明的那样，当操作了定格按钮118时，在动态图像文件中记录章节图像等元数据。

然而，在操作者按下定格按钮的时刻，并不一定显示有对诊断等而言最合适的图像。另外，有时动态图像比静止图像更易于掌握例如病变部的立体形状等。

如图8所示，通过重复回放章节图像前后较短时间内的动态图像，操作者能够容易地进行对在内窥镜检查时关注的部分的再观察。

图9是第三实施方式的图像回放处理的流程图。步骤S301及步骤S302由于与使用图6说明的第一实施方式的处理相同，因此省略说明。

在本实施方式中，步骤S303中的章节图像的选择是通过单击或双击章节图像而进行的。需要说明的是，也能够取代单击或双击，而使用例如滑动、多个手指的同时点击、对预定的区域的拖放或者键盘操作等任意操作。

当通过单击选择了章节图像时(在步骤S303中单击)，与第一实施方式的步骤S304同样地，从与所选择的章节图像对应的场景开始回放动态图像(步骤S304)。

当通过双击选择了章节图像时(在步骤S303中双击)，如使用图8所说明过的那样，在前面板126中显示粗框31、时间栏32及光标33。在粗框31内，重复回放所选择的章节图像被保存的时刻前后的动态图像(步骤S305)。在步骤S304或步骤S305完成后，结束处理。

动态图像也可以较大地放大被显示。动态图像也可以在与前面板126不同的显示装置例如监视器150中显示。

需要说明的是，处理器120也可以一边进行步骤S302、步骤S304或者步骤S305的动态图像回放处理，一边并行地返回步骤S301，受理操作者的下一操作。

根据本实施方式，能够提供重复回放章节图像前后较短时间内的动态图像的内窥镜装置100。通过使用本实施方式的内窥镜装置100，操作者能够容易地进行对在内窥镜检查时所关注的部分的再观察。

使用图6或图9进行说明的流程图也可以由能够读入包含在内窥镜检查中记录的元数据的视频文件的通用的个人电脑、平板电脑等信息处理装置来执行。例如，将包含元数据的视频文件记录在经由网络连接的HIS(Hospital Information System：医院内信息系统)的记录装置，能够使用设置在与内窥镜检查室不同的房间中的个人电脑来进行回放。

[第四实施方式]

本实施方式主要涉及具备基于软件处理进行工作的处理器120的内窥镜装置100。对于与第一实施方式共通的部分，省略说明。

图10是作为第四实施方式的内窥镜装置的框图。内窥镜装置100具备视频观测器110、处理器120及显示装置90。视频观测器110的内部的结构与使用图1说明过的实施方式1的视频观测器110相同，因此省略图示。

显示装置90具备显示部91和输入部92。显示部91例如为液晶显示面板。输入部92是配置在显示部91的表面且与显示部91联动而构成触摸面板的触摸传感器。输入部92也可以是键盘或鼠标等。

处理器120具备CPU11、主存储装置12、辅助存储装置13、通信部14、显示I/F(Interface)15、输入I/F16、观测器I/F17、光源124及总线。本实施方式的处理器120是通过由CPU11执行程序从而进行工作的信息处理装置的一个例子。

CPU11是执行本实施方式所涉及的程序的运算控制装置。对于CPU11，使用一个或多个CPU或者多核CPU等。CPU11经由总线与构成处理器120的硬件各部分连接。

主存储装置12是SRAM(Static Random Access Memory：静态随机存取存储器)、DRAM(Dynamic Random Access Memory：动态随机存取存储器)、闪存等存储装置。主存储装置12中暂时保存在CPU11进行的处理的过程中所需的信息及由CPU11执行中的程序。

辅助存储装置13是SRAM、闪存、硬盘或者磁带等存储装置。辅助存储装置13中保存有用于使CPU11执行的程序、视频文件及执行程序所需的各种信息。需要说明的是，视频文件也可以保存在经由HIS等网络等与处理器120连接的外部大容量存储装置等。

通信部14是进行与网络的通信的接口。显示I/F15是显示部91与总线连接的接口。输入I/F是输入部92与总线连接的接口。观测器I/F17是视频观测器110与总线连接的接口。观测器I/F17是连接内窥镜的内窥镜连接部的一个例子。图1示出的模拟信号处理电路112、定时控制器114及观测器控制器分别经由观测器I/F17与总线连接。

图11是用于说明第四实施方式中的显示画面的说明图。图11示出的画面在显示部91中显示。图11示出的画面包括缩略图像M0、章节图像C1、C2及C3、实时动态图像I1以及记录回放动态图像I2。需要说明的是，章节图像也可以为排列两行以上而进行一览显示。

实时动态图像I1以实时的方式显示通过视频观测器110的图像传感器111拍摄到的图像。缩略图像M0、章节图像C1、C2及C3显示例如从内窥镜检查中的患者在过去接受同样内窥镜检查时的视频文件提取出的缩略图像和章节图像。由操作者选择的缩略图像C2被粗框31包围。

记录回放图像I2显示从用粗框31包围住视频文件的章节图像被记录的时刻开始进行回放的回放图像。记录回放图像I2也可以显示在章节图像被记录的时刻所拍摄的静止图像。记录回放图像I2也可以放大显示被粗框31包围的章节图像。显示记录回放图像I2的区域是本实施方式的回放部的一个例子。

需要说明的是，也可以基于操作者的指示，从辅助存储装置13中储存的视频文件中选择视频文件。也可以基于操作者的指示从HIS获取视频文件并将其暂时记录至辅助存储装置13。也可以基于检查中的患者ID(Identifier)等，自动地从HIS获取视频文件并将其记录至辅助存储装置13。例如，在进行定期的内窥镜检查的后续观察的患者的情况下，CPU11能够基于患者ID选择在上次内窥镜检查中记录的视频文件。

对显示图11所示的画面的顺序的概要进行说明。在开始内窥镜检查前，操作者选择在内窥镜检查中回放的视频文件，或者将用于使CPU11进行选择所需的患者ID等信息输入CPU11。

CPU11从包含于视频文件的元数据提取并显示章节图像。当操作者开始内窥镜检查时，CPU11基于经由观测器I/F从视频观测器110获取的信号显示实时动态图像I1。

操作者通过例如单击等操作选择想要与实时动态图像I1进行对比确认的章节图像。CPU11基于受理了选择的章节图像，显示记录回放图像I2。

通过以上，操作者例如能够将上次内窥镜检查时与本次内窥镜检查的病变部位的变化的情况进行对比。操作者通过操作视频观测器110，能够从与记录回放图像I2同样的朝向对病变部进行拍摄。通过使这样拍摄的实时动态图像I1与记录回放图像I2进行比较，能够详细地观察病变有无变化等。

操作者也可以选择例如拍摄了健康人的内窥镜图像的视频文件。操作者能够将记录回放图像I2中显示的健康人的内窥镜图像与实时动态图像I1进行比较。

图12是示出第四实施方式的处理的流程的流程图。CPU11获取视频文件(步骤S311)。CPU11实现通过步骤S311获取视频文件的第一获取部的功能。CPU11从视频文件提取章节图像(步骤S312)。CPU11如使用图11所说明过的那样将所提取的章节图像进行一览显示。

CPU11基于经由观测器I/F从视频观测器110获取的信号，显示实时动态图像I1(步骤S314)。需要说明的是，CPU11与在以后说明的处理并行地持续更新实时动态图像I1。CPU11实现通过步骤S314获取实时图像的第二获取部的功能。

CPU11判定是否从一览显示的章节图像受理了任意章节图像的选择(步骤S315)。CPU11实现通过步骤S315受理选择章节图像的受理部的功能。当判定为受理时(步骤S315中为是)。CPU11显示记录回放图像I2(步骤S316)。需要说明的是，当记录回放图像I2为动态图像时，直至CPU11再次受理选择为止，持续进行记录回放图像I2的回放。

CPU11判定是否完成处理(步骤S317)。例如，当完成了内窥镜检查时，CPU11判定为完成处理。当判定为完成处理时(步骤S317中为是)，CPU11结束处理。

当判定为未完成处理时(步骤S317中为否)，CPU11返回至步骤S315。

根据本实施方式，能够提供在内窥镜检查中将实时图像I1与操作者所选择的记录回放图像并列进行显示的内窥镜装置100。

也可以通过与总线连接的专用电路基板来执行例如图像处理等CPU所执行的处理的一部分。

CPU11也可以通过图像的模板匹配等处理来自动地选择与实时图像I1类似的章节图像。

在各实施例中记载的技术特征(构成要件)能够互相组合，并能够通过组合来形成新的技术特征。

应当考虑到，本次公开的实施方式就所有点而言仅为例示，并非为限制性限定。本发明的范围并非仅上述的意思，而是旨在通过权利要求书进行表示，且包含与权利要求书均等的意思及范围内的所有的变更。

附图标记说明：

11…CPU；12…主存储装置；13…辅助存储装置；14…通信部；15…显示I/F；16…输入I/F；17…观测器I/F；31粗框；32…时间栏；33…光标；100…内窥镜装置；110…视频观测器(视频观测器、内窥镜)；120…处理器；121…系统控制电路(编辑处理部、回放处理部)；135…后级信号处理电路(编辑处理部、回放处理部、记录处理部)；136…LCD(显示部)；150…监视器。

Claims (14)

1.一种内窥镜装置，其特征在于，具备：

记录处理部，将实时动态图像作为视频文件记录于存储器；

回放处理部，读取所述视频文件而在监视器中回放显示动态图像；以及

编辑处理部，在显示部中显示能够选择回放开始场景的编辑画面，

所述记录处理部在记录动态图像的过程中将与操作者指定的场景对应的帧图像(以下，章节图像)作为元数据保存至所述视频文件，

所述编辑处理部提取与章节图像对应的元数据，并在编辑画面中显示章节图像，

所述回放处理部从由操作者选择的章节图像的场景或由操作者选择的章节图像的场景前后的场景开始回放动态图像。

2.根据权利要求1所述的内窥镜装置，其特征在于，

所述记录处理部将与操作者进行静止画面保存操作时的场景对应的章节图像作为元数据保存至所述视频文件。

3.根据权利要求1或2所述的内窥镜装置，其特征在于，

所述编辑处理部将元数据中的帧图像作为静止画面文件抽出。

4.根据权利要求1至3中任一项所述的内窥镜装置，其特征在于，

所述记录处理部将观测器种类和图像处理设定内容中的至少任一方与章节图像一起作为元数据保存至所述视频文件。

5.根据权利要求1至4中任一项所述的内窥镜装置，其特征在于，

所述编辑处理部将所记录的动态图像数据中与开头场景对应的开头帧图像与章节图像一起进行显示，

当操作者选择了开头帧图像时，所述回放处理部从开头帧图像开始回放动态图像。

6.根据权利要求1至5中任一项所述的内窥镜装置，其特征在于，

所述内窥镜装置的处理器能够在显示内窥镜作业关联影像的同时与能够输出影像信号的外部配套设备连接，

所述记录处理部将操作者进行静止画面保存操作时所显示的内窥镜作业关联静止图像作为元数据保存至所述视频文件。

7.根据权利要求6所述的内窥镜装置，其特征在于，

所述回放处理部提取与内窥镜作业关联静止图像对应的元数据，并在回放动态图像时显示内窥镜关联静止图像。

8.根据权利要求1至7中任一项所述的内窥镜装置，其特征在于，

所述内窥镜装置的处理器能够与归档装置连接，

所述回放处理部能够使实时动态图像与记录在所述归档装置中的记录图像同时显示，

所述记录处理部将与操作者进行静止画面保存操作时的回放场景对应的回放帧图像作为元数据保存至所述视频文件。

9.一种内窥镜装置的记录及回放方法，将实时动态图像作为视频文件记录于存储器，读取所述视频文件而在监视器中回放显示动态图像，并在显示部中显示能够选择回放开始场景的编辑画面，其特征在于，

在记录动态图像的过程中，将与操作者指定的场景对应的章节图像作为元数据保存至所述视频文件，

提取与章节图像对应的元数据，并在编辑画面中显示章节图像，

从由操作者选择的章节图像的场景或由操作者选择的章节图像的场景前后的场景开始回放动态图像。

10.一种信息处理装置，具备：

第一获取部，获取视频文件，所述视频文件包含动态图像以及与在拍摄所述动态图像的过程中的预定时刻所剪切出的章节图像相关的元数据；

显示部，将从所述第一获取部所获取的所述视频文件中提取的所述章节图像进行一览显示；

受理部，受理在所述显示部一览显示的所述章节图像中进行的选择；以及

回放部，基于与所述受理部所受理选择的所述章节图像对应的时刻，回放所述动态图像。

11.根据权利要求10所述的信息处理装置，其中，

所述动态图像是使用内窥镜拍摄到的图像，

所述第一获取部获取包含与在操作了设置于所述内窥镜的按钮的时刻所剪切出的章节图像相关的元数据的视频文件。

12.根据权利要求11所述的信息处理装置，其中，

所述信息处理装置还具备：

内窥镜连接部，连接所述内窥镜；以及

记录部，基于经由所述内窥镜连接部获取的动态图像和时刻，记录所述视频文件。

13.根据权利要求10至12中任一项所述的信息处理装置，其中，

所述信息处理装置还具备第二获取部，所述第二获取部获取所拍摄的实时图像，

所述显示部将第二获取部所获取的实时图像与所述章节图像或与所述动态图像同时显示。

14.一种程序，用于使计算机执行如下处理：

获取视频文件，所述视频文件包含动态图像以及与在拍摄所述动态图像的过程中的预定时刻所剪切出的章节图像相关的元数据；

将从所获取的所述视频文件中提取的所述章节图像进行一览显示；

受理在一览显示的所述章节图像中进行的选择；以及

基于与所受理选择的章节图像对应的时刻，回放所述动态图像。