CN101133936B - 图像显示装置、图像显示方法 - Google Patents

Abstract

提供一种图像显示装置、图像显示方法及图像显示程序。显示表示由胶囊内窥镜按时间序列拍摄的图像的整个摄像期间的平均颜色条(507)。将全部摄像图像中被检验的图像，一览显示在检验图像显示栏(504B)中，算出各检验图像对应于摄像期间中的哪个时间，用平均颜色条(507)的刻度，在该平均颜色条(507)上以与各检验图像对应的编号进行标记显示。由此，提高拍摄体内所得的图像的检索性，并且，可容易地识别显示图像是哪个脏器的图像。

Description

图像显示装置、图像显示方法

本申请是申请日为2004年04月21日、申请号为200480011082.4、发明名称为“图像显示装置、图像显示方法及图像显示程序”的申请的分案申请。

技术领域

本发明例如涉及一种图像显示装置、图像显示方法及图像显示程序。

背景技术

近年来，在内窥镜中，出现了吞服型胶囊内窥镜。在该胶囊内窥镜中，设置有摄像功能和无线功能。胶囊内窥镜是如下的结构，即为了观察(检查)，在从患者口中吞服后到从人体中自然排出为止的观察期间，依次拍摄胃、小肠等脏器(参照日本特开平11-225996号公报)。

在该观察期间，由胶囊内窥镜在体内拍摄的图像数据依次利用无线通信发送到外部，并存储到存储器中。患者通过携带具备该无线通信功能和存储器功能的接收机，患者在吞服胶囊内窥镜后到排出为止的观察期间，可自由行动。在观察后，可由医生或者护士，根据存储在存储器中的图像数据，使脏器图像显示在显示器上进行诊断。

目前，作为这种胶囊内窥镜，有以色列的Given Imaging公司的M2A(注册商标)和日本的株式会社ア一ルエフ的NORIKA(注册商标)，已经进入实用化阶段。

但是，在上述的胶囊内窥镜中，与通常的内窥镜不同，由于在被检查者吞服后到自然排出为止的期间拍摄各脏器，因此，观察(检查)时间达到例如10小时以上的长时间。因此，按时间序列拍摄的图像张数庞大。

在诊察等阶段中，对于提高从长时间拍摄的庞大图像中检索所希望图像的检索性、和可容易识别显示图像是由整个摄像时间中的哪个时刻拍摄的、是哪个脏器的图像等的显示画面，并没有特别考虑。

本发明的目的在于，提供一种图像显示装置、图像显示方法及图像显示程序，能够提高对体内拍摄的图像的检索性，并且，能够容易地识别显示图像是哪个脏器的图像。

发明内容

为了解决上述问题从而达到目的，本发明的特征在于，具备：输入单元，输入由体内摄像装置按时间序列拍摄的图像数据；刻度显示控制单元，进行控制以显示表示由前述输入单元输入的按时间序列拍摄的图像数据的整个摄像期间的刻度；颜色信息检测单元，检测由前述输入单元输入的图像数据的一个画面的颜色信息；颜色显示控制单元，进行控制以将与由前述颜色信息检测单元检测的颜色信息对应的颜色，显示在前述刻度上的时间上对应的位置上；图像显示控制单元，进行控制以显示与由前述输入单元输入的图像数据对应的图像；图像指定单元，指定由前述图像显示控制单元进行了显示控制的图像；和指标显示控制单元，进行控制以在前述刻度上显示指标，该指标表示与由前述图像指定单元指定的图像摄像时刻对应的位置。

另外，在本发明中，其特征在于，前述颜色信息检测单元具备平均颜色检测单元，该平均颜色检测单元根据由前述输入单元输入的图像数据的一个画面的颜色信息，检测与平均颜色相关的颜色信息。

另外，本发明的特征在于，还具备指定图像显示控制单元，该指定图像显示控制单元进行控制以显示由前述图像指定单元指定的图像，前述指标显示控制单元以及前述指定图像显示控制单元进行关联显示，该关联显示表示显示在前述刻度上的指标和显示的指定图像之间的关联。

另外，本发明的特征在于，脏器辨别单元，根据由前述颜色信息检测单元检测的颜色信息辨别脏器；脏器名显示控制单元，进行控制以将由前述脏器辨别单元辨别的脏器名与前述刻度对应进行显示。

另外，在本发明中，其特征在于，前述脏器辨别单元还具备变色边缘检测单元，该变色边缘检测单元根据由前述颜色信息检测单元检测的颜色信息进行变色边缘的检测。

另外，本发明的特征在于，包含：输入步骤，输入由体内摄像装置按时间序列拍摄的图像数据；刻度显示控制步骤，进行控制以显示表示由前述输入步骤输入的按时间序列拍摄的图像数据的整个摄像期间的刻度；颜色信息检测步骤，检测由前述输入步骤输入的图像数据的一个画面的颜色信息；颜色显示控制步骤，进行控制以将与由前述颜色信息检测步骤检测的颜色信息对应的颜色，显示在前述刻度上的时间上对应的位置上；图像显示控制步骤，进行控制以显示与由前述输入步骤输入的图像数据对应的图像；图像指定步骤，指定由前述图像显示控制步骤进行了显示控制的图像；指标显示控制步骤，进行控制以在前述刻度上显示与由前述图像指定步骤指定的图像的摄像时刻对应的位置。

另外，本发明的特征在于，前述颜色信息检测步骤包含平均颜色检测步骤，该平均颜色检测步骤根据由前述输入步骤输入的图像数据的一个画面的颜色信息，检测与平均颜色相关的颜色信息。

另外，本发明的特征在于，还包含指定图像显示控制步骤，该指定图像显示控制步骤进行控制以显示由前述图像指定步骤指定的图像，前述指标显示控制步骤以及前述指定图像显示控制步骤进行关联显示，该关联显示表示显示在前述刻度上的指标和显示的指定图像之间的关联。

另外，本发明的特征在于，还包含：脏器辨别步骤，根据由前述颜色信息检测步骤检测的颜色信息来辨别脏器；脏器名显示控制步骤，进行控制以将由前述脏器辨别步骤辨别的脏器名与前述刻度对应进行显示。

另外，本发明的特征在于，前述脏器辨别步骤还包含变色边缘检测步骤，该变色边缘检测步骤根据由前述颜色信息检测步骤检测的颜色信息进行变色边缘的检测。

另外，本发明提供一种图像显示装置，其特征在于，具备：取得单元，其取得由体内摄像装置拍摄的多个图像；平均颜色条显示单元，其显示对由前述多个图像构成的图像数据进行描绘的、按时间序列以每个图像的平均颜色进行颜色区分的平均颜色条；以及指标显示单元，其显示与前述平均颜色条相对应地表示范围的指标，使得关于前述多个图像在前述平均颜色条上形成多个区间。

另外，本发明提供一种图像显示方法，其特征在于，包括：取得步骤，取得由体内摄像装置拍摄的多个图像；平均颜色条显示步骤，显示对由前述多个图像构成的图像数据进行描绘的、按时间序列以每个图像的平均颜色进行颜色区分的平均颜色条；以及指标显示步骤，显示与前述平均颜色条相对应地表示范围的指标，使得对于前述多个图像在前述平均颜色条上形成多个区间。

附图说明

图1是表示与本实施方式有关的胶囊内窥镜内部结构的概要图。

图2是根据本实施方式的胶囊内窥镜系统的概要图。

图3是表示根据本实施方式的胶囊内窥镜系统内部的一个结构例的框图。

图4是表示与根据本实施方式的观察流程有关的画面变迁的一个例子的图。

图5是表示与根据本实施方式的观察流程有关的画面变迁的一个例子的图。

图6是表示与根据本实施方式的观察流程有关的画面变迁的一个例子的图。

图7是说明与根据本实施方式的诊察流程有关的画面变迁的一个例子的图。

图8是说明与根据本实施方式的诊察流程有关的画面变迁的一个例子的图。

图9是说明根据本实施方式的平均颜色条显示用动作的流程图。

图10是表示与根据本实施方式一个变形例的诊察处理有关的显示画面的一个例子的图。

图11是说明根据本实施方式一个变形例的脏器名自动辨别原理的图。

图12是说明根据本实施方式一个变形例的脏器名辨别处理的流程图。

图13是说明图11的变形例的应用例的图。

图14是说明与根据本实施方式的诊察流程有关的画面变迁的一个例子的图。

图15是说明根据本实施方式的用于显示指定图像的摄影时间的动作的流程图。

具体实施方式

下面参照附图，详细叙述与本发明有关的最佳实施方式。

首先，对于在本发明的一个实施方式中使用的胶囊内窥镜，参照图1说明全体结构。图1是表示与本实施方式有关的胶囊内窥镜的内部结构的概要图。如图1所示，胶囊内窥镜10由以下部分构成：可拍摄体腔内图像的摄像部111、照射体腔内部的照明部112a、112b、向它们提供电力的电源部13、在内部至少配设了上述摄像部111、上述照明部112以及上述电源部13的胶囊壳体14。

在此，与本实施方式有关的胶囊壳体14由顶端盖部120和胶囊体部122构成，该顶端盖部120覆盖上述摄像部111以及上述照明部112a、112b，该胶囊体部122通过该顶端盖部120和密封构件121设置成水密状态、并且在内部配设了摄像部111等，根据需要也可以将后端盖部123与胶囊体部122分体设置。此外，在本实施方式中，后端盖部123与胶囊体部被设置成为一体，成为平坦形状，但是其形状并未被限定，例如也可以设为圆顶形状。

另外，顶端盖部120也可以明确分成使来自照明部112a、112b的照明光L透过的照明用窗部120a和拍摄照明范围的摄像用窗部120b。此外，在本实施方式中，顶端盖部120其全体透明，照明用窗部120a和摄像用窗部120b的区域部分重叠。

上述摄像部111被设置在摄像基板124上，是由固体摄像元件125和成像透镜126构成。其中，固体摄像元件125对根据来自照明部112a、112b的照明光L而照射的范围进行拍摄，例如由CCD构成，成像透镜126由将被摄体的像成像在该固体摄像元件125上的固定透镜126a以及可动透镜126b构成，通过利用将固定透镜126a固定的固定框128a以及固定可动透镜126b的可动框128b的焦点调整部128，进行清晰的成像。此外，在本发明中，作为摄像部111，并不限定于上述CCD，例如也可以使用CMOS等摄像装置。

另外，上述照明部112a、112b被设置在照明基板130上，例如由发光二极管(LED)构成，并且，以构成摄像部111的成像透镜126为中心，在其周围配设了多个照明部112a、112b(在本实施方式中，作为一个例子是4个)。此外，在本发明中，作为照明部112a、112b，并不限定于上述LED，也可以使用其他照明装置。

另外，上述电源部13，被设置在设置有内部开关131的电源基板132上，例如使用了纽扣型电池作为电源133。此外，在本发明中，作为上述电池例如使用了氧化银电池，但是在本发明中并不限定于此，例如也可以使用充电式电池、发电式电池等。

另外，作为上述内部开关131，例如使用了可利用磁铁彼此间的相斥作用来进行接通动作的开关，但是本发明并不限定于此，也可以例举出其他的开关装置。

另外，在本实施方式中，除了上述各部分以外，在无线基板141上设置有由用于与外部进行无线通信的天线等构成的无线部142，根据需要进行与外部的通信。

另外，在摄像基板124上设置有用于处理或者控制上述各部分的信号处理/控制部143，执行胶囊内窥镜10中的各种处理。

在此，上述信号处理/控制部143包括以下功能等，并进行各种信号处理/控制，所述功能为：影像信号处理功能的一部分、进行影像信号和同步信号的混合、误差修正符号的附加等的发送用信号生成功能、例如变换到PSK(相移键控)、MSK(最小频移键控)、GMSK(高斯最小频移键控)、QMSK(正交最小频移键控)、ASK(幅移键控)、AM(调幅)、FM(调频)方式的调制功能、根据开关的接通/断开来控制电源供给的电源供给控制功能、控制LED驱动电路等驱动电路、摄像张数的时序产生器(TG)功能、存储设定拍摄张数的参数等诸多数据的存储功能等。

在此，上述影像信号处理功能例如包含图像数据校正(例如白平衡(WB)校正、γ校正、颜色处理、AGC等)、根据情况还包含相关双采样或模拟/数字变换(ADC)、调光功能(AE)等处理。

此外，在胶囊内窥镜10内部中，除了上述无线部142以外，例如也可以适当配设各种传感器等信息收集装置、排出药剂的药剂排出装置、切除/回收体腔组织的组织回收装置等。

接着，对于根据本实施方式的胶囊内窥镜系统，使用图2进行说明。图2是根据本实施方式的胶囊内窥镜系统的概要图。当使用上述胶囊内窥镜10进行检查时，使用如图2所示的胶囊内窥镜系统来进行。

根据本实施方式的胶囊内窥镜系统，例如，如图2所示，由以下部分构成：胶囊内窥镜10及其包装50、穿在患者即被检查者2上的夹克3、自由装卸于夹克3的接收机4、工作站5、CF(快闪(CompactFlash)(注册商标))存储器读写器6、标签打印机7、数据库8以及网络9。

在夹克3中设置有捕捉从胶囊内窥镜10的无线部142发送的摄像图像电波的天线31、32、33以及34，设置成能够在与接收机4之间无线地或者通过电缆有线地进行通信。此外，天线数并不特别限定为4个，也可以是多个，由此，可以很好地接收与伴随胶囊内窥镜10移动的位置对应的电波。

在接收机4中，设置有从夹克3直接以电波接收摄像图像时使用的天线41、显示观察(检查)所需信息的显示部42以及输入观察(检查)所需信息的输入部43。另外，接收机4能够可装卸地安装存储所接收的摄像图像数据的CF存储器44。并且，在接收机4中，设置有携带时也能够提供电源的电源部45以及进行观察(检查)所需处理的信号处理/控制部46。作为电源部45， 例如可例举出干电池、锂离子二次电池、镍氢电池等，也可以是充电式电池。

工作站5具有医生或者护士根据由胶囊内窥镜10拍摄的患者体内的脏器等的图像而进行诊断用的处理功能。虽然没有图示，但该工作站5具有接收机4、CF存储器读写器6、标签打印机7和分别可通信连接的接口，进行CF存储器44的读/写、病历簿打印等。

另外，工作站5具有用于连接网络9的通信功能，通过该网络9将患者的诊察结果等存储到数据库8中。并且，工作站5具有显示部51，从接收机4输入患者体内的摄像图像数据，并在显示部51上显示脏器等的图像。

如图2所示，在开始检查前，从包装50取出胶囊内窥镜10，被检查者2从口中吞服该胶囊内窥镜10，从而，通过食道，利用消化管腔的蠕动在体腔内前进，依次拍摄体腔内的像。

并且，根据需要或者随时关于摄像结果通过无线部142输出摄像图像的电波，并由夹克3的各天线31、32、33、34捕捉该电波。来自接收电波强度高的天线的信号被发送到体外的接收机4中。

在接收机4中，依次接收的拍摄图像数据被存储在CF存储器44中。此外，该接收机4不与胶囊内窥镜10的摄像开始同步，而是通过输入部43的操作来控制接收开始和接收结束。另外，作为拍摄图像数据，也可以是为了动态地显示而以多帧/秒进行拍摄的静止图像数据，也可以是通常的动态图像数据。

当结束通过胶囊内窥镜10对被检查者2的观察(检查)时，存储在CF存储器44中的摄影图像数据通过电缆传输到工作站5中。在工作站5中，被传输过来的摄像图像数据，按患者分别对应存储。

这样，由胶囊内窥镜10拍摄、并由接收机4存储的体腔内的摄像图像数据，由工作站5的显示部51进行图像显示。由此，可对包含超声波探测器、内窥镜等无法到达的体深部(小肠等)在内的、人体消化管的全部，进行生理学研究上有用的数据获得和病变诊断。

接着，对于上述胶囊内窥镜系统的处理系统，使用图3进行说明。图3是表示根据本实施方式的胶囊内窥镜系统内部的一个结构例的框图。在此，只以各单元的主要结构为例进行说明。

胶囊内窥镜10，如已经在图1中说明的那样，具有如下的结构，即利用由照明部112a及112b构成的光源112照射的照明光的反射，由摄像部111拍摄体内被摄体(脏器等)，并利用无线信号将该拍摄图像从无线部142发送。

夹克3具有如下结构，即在4个天线31、32、33、34上连接选择器35，并在该选择器35上连接了连接用于与接收机4连接的电缆的I/F36。该夹克3由4个天线31、32、33、34来接收从胶囊内窥镜10发送的无线信号，并由选择器35根据电波强度选择接收信号，通过I/F36传输到接收机4中。在该夹克3中，没有设置大容量存储器，通过天线31、32、33、34接收的摄像图像依次传输到后级的接收机4中。

接收机4的内部结构具有通过电缆与夹克3的I/F36进行通信用的I/F40、根据预先准备的程序控制接收机全体的CPU46、与安装的CF存储器44之间进行数据通信的CF存储器I/F47、与工作站5之间通过电缆进行通信的I/F48。

接收机4在通过胶囊内窥镜10观察体内期间中，为了确保可依次从夹克3侧接收摄像图像的状态，始终安装在被检查者2上。从而，在观察期间中，从夹克3依次接收拍摄的图像，该接收图像通过CF存储器I/F47依次存储到CF存储器44中。在该观察 期间中，接收机4与工作站5成为非连接状态，被检查者2不被拘束于医院等，可以自由移动。

CF存储器读写器6的内部结构具有根据预先准备的程序来控制读写器全体的CPU61、与安装的CF存储器44之间进行数据通信的CF存储器I/F62、与工作站5之间通过电缆进行通信的I/F63。

CF存储器读写器6，安装有CF存储器44，并且通过I/F63连接到工作站5上，对CF存储器44进行根据本实施方式的诊断用的摄像信息的格式化，或从CF存储器44读出已存储的摄像图像数据并传输到工作站5中。在此，摄像图像数据是JPEG等形式。

这样，在本实施方式中，可任意选择是从接收机4对工作站5直接传输摄像图像数据、或是从接收机4将CF存储器44移到CF存储器读写器6上而对工作站5传输摄像图像数据。

工作站5具有如下的结构，即进行根据本实施方式的脏器图像等显示的显示部51、管理通过电缆与接收机4的I/F48之间的通信或者管理通过电缆与CF存储器读写器6的I/F63之间的通信的I/F52、存储各种处理中使用的数据的大容量存储器53、根据预先准备的程序控制工作站5全体的CPU54、输入各种操作的输入部55、分别连接到标签打印机7、经由网络9的数据库8或其他打印机上而用于进行各种输出处理的输出部56等。

观察期间结束，接收机4可通信地连接在工作站5上时，存储在CF存储器44中的摄像图像数据从接收机4传输到工作站5，并存储在存储器53中。在工作站5中，在诊断时显示根据本实施方式的胶囊内窥镜10的摄像图像的显示、后述的平均颜色滑块的显示、胶囊内窥镜10的轨迹等。诊断结果从打印机作为病历簿输出，或者按患者存储到数据库8中。

接着，对根据本实施方式的具体流程进行说明。图4、图5以及图6是表示与根据本实施方式的观察流程有关的画面变迁的一个例子的图，图7以及图8是说明与根据本实施方式的诊察流程有关的画面变迁的一个例子的图，并且，图9是说明根据本实施方式的平均颜色条显示用的动作的流程图。此外，设用于平均颜色滑块显示的程序的存储方法是从CD-ROM等存储介质直接安装，或者从网络等外部下载后安装，存储到工作站5的存储器53中。

首先，医生(或者护士)，使用工作站5以及CF读写器6，进行CF存储器44的格式化。此时，在工作站5的显示部51上，作为观察前的流程，显示提示将CF存储器44插入到CF存储器读写器6中，并将该CF存储器读写器6连接到工作站5上(图4(A))的画面。由医生进行“下一步”的菜单操作时，处理转移到下面的向导画面显示。此时，由医生根据上述向导完成准备。此外，当该准备不完全，并以该状态进行了“下一步”的菜单操作时，也可以显示CF存储器未插入或者CF存储器读写器未连接等消息。

在接着的向导画面中，显示了提示输入诊察信息以及患者信息的向导画面(图4(B))。作为诊察信息，例如有医院名、胶囊给药医师(护士)名、胶囊投入日期时间、胶囊编号、接收机编号的输入项目。另外，作为患者信息，有患者ID、患者名、患者性别、患者年龄、患者出生年月日的输入项目。当完成向各种输入项目的输入操作，并进行“下一步”菜单操作时，显示输入项目的确认画面(图5(A))。此外，可由“返回”的菜单操作移到前一画面。

在接着的向导画面中(图5(A))，显示有由前面画面输入的项目的确认，因此，当通过医生的操作再次进行“下一步”菜单操作时，认为输入信息没有问题，显示画面再次移到下一画面(图5(B))。此时，在CF存储器44中被写入输入项目信息。另外，当进行了 “返回”菜单操作时，可修正前次输入的项目。

在接着的向导画面中(图5(B))，显示有CF存储器44的拔出指示、将根据输入项目打印所需识别信息的标签粘贴在接收机4和CF存储器44上的指示、以及将CF存储器4 4插入到接收机4的指示的消息。并且，根据医生的操作，进行“完成”菜单操作时，完成了向被检查者的胶囊内窥镜10给药前的准备。

并且，完成向被检查者2的胶囊内窥镜10的给药后，开始体内观察，并通过接收机4的操作开始向CF存储器44存储摄像图像数据。观察期间期满，向CF存储器44的存储结束时，医生将再次从工作站5接受指导。

首先，显示从接收机4取出CF存储器44，并插入到CF存储器读写器6的向导画面(图6(A))。根据以上消息进行准备后，由医生进行“下一步”的菜单操作时，显示画面移到下一个画面(图6(B))。

在接着的向导画面中(图6(B))，从该存储器中读出、显示存储在CF存储器44中的诊断信息和患者信息。该显示的内容信息、即由观测得到的信息(摄像图像数据等)，将被工作站5取得。

由此完成信息的取得后，由医生进行“下一步”的菜单操作时，进行从CF存储器44取得数据的处理，当完成数据的取得处理时，显示指示从CF存储器44取得数据完成、将CF存储器44从CF存储器读写器6取出、诊察开始的向导画面(图6(C))。并且，由医生进行“完成”菜单操作时，完成与观察流程有关的一系列向导。

此外，在一系列的画面变迁中，有取消、帮助的图标，各医生可任意地进行选择操作。当操作了取消时，当前为止的输入被初始化。

在诊察处理的阶段中，首先一览显示保存在工作站5的存储器53中的各患者的诊察信息以及患者信息(图7)。由此，医生 例如可用光标选择操作对哪个患者进行诊察。对于选择状态，进行翻转显示等即可。在光标的选择状态下进行“诊察”菜单操作时，决定诊察对象的患者。此外，对于已经诊察完的患者，如图7，在一览显示中添加“完成”就可容易地识别有无诊察。

由此，决定作为诊察对象的患者时，如图8所示，显示诊察处理画面。在该诊察显示画面中，显示有诊察所需的信息。501、502分别表示相应患者的患者信息、诊察信息，503表示显示摄像图像中的一张的图像显示栏。504A表示对于医生关心的图像，列出通过操作利用软件的检验按钮CHK的任意地检验(选择)的摄像图像的检验图像显示栏。

505表示将显示在图像显示栏503上的摄像图像的摄像位置(体内位置)以3D(3维)显示的3D位置显示栏，506表示用于进行使摄像图像显示在图像显示栏503上的重放操作的重放操作栏，507表示对于从接收机的接收开始时刻到接收结束时刻的摄像图像，按时间序列以对应脏器的平均颜色进行颜色区分的平均颜色条。该平均颜色条507起着表示观察期间的经过时间的刻度的作用。在显示画面中，除此之外还显示有“帮助”、“返回”、“取消”、“诊察结束打印病历簿”各菜单。

平均颜色条507利用脏器不同而颜色不同的特性，从摄像图像的各帧中求出平均颜色，并按时间序列配色。从而，在平均颜色条507中，对应各脏器的区间，胶囊内窥镜10移动时的摄像图像的平均颜色变为大致均匀。即使在同一脏器内移动时摄像的图像中包含有噪音，也能够通过对每帧求出一个画面的平均颜色，得到每个脏器大致均匀的配色。

在该平均颜色条507中，滑块S能够在时间轴方向上移动地显示。该滑块S起到将显示在图像显示栏503中的摄像图像位置用位置表示在平均颜色条507上的指标的作用。从而，根据重放 操作栏506的操作，进行滑块S的移动显示控制。

平均颜色条507中的滑块S的移动和显示在图像显示栏503中的摄像图像的切换同步联动。即，在重放操作栏506中，对以下按钮进行显示控制：利用用于操作沿时间序列方向的重放正方向的软件的帧重放按钮、重放按钮及高速重放(高重)按钮、和利用用于沿时间序列方向操作重放反方向的软件的帧反重放按钮、反重放按钮及高速反重放(高反)按钮。在该重放操作栏506中，还对停止按钮进行显示控制。

由医生通过输入部55的操作例如用未图示的鼠标点击了重放按钮时，在图像显示栏503中以重放正方向按时间序列显示根据摄像图像数据的图像。另外，当点击了帧重放按钮时，以重放正方向显示其次的图像，当点击了高速重放按钮时，以重放正方向利用重放按钮的重放而高速地重放显示图像。如果正在重放或者正在高速重放时点击停止按钮，则以显示被点击时的图像的状态，停止显示图像的切换。

另外，由医生通过输入部55的操作例如用未图示的鼠标点击了反重放按钮时，在图像显示栏503中对于时间序列方向按重放反方向显示根据摄像图像数据的图像。另外，当点击了帧反重放按钮时，以重放正方向显示前一个图像，当点击了高速反重放按钮时，以重放反方向利用反重放按钮的重放而高速地重放显示图像。如果正在反重放或者正在高速反重放时点击停止按钮，则以显示被点击时的图像的状态而停止显示图像的切换。

另外，在图像显示栏503中重放或者反重放图像时，当发现了如出血部位等患部时等，可根据医生的裁定与其他图像相区别而选出检验图像。这样，想要检验时，需要由医生操作检验按钮CHK。被检验的图像，作为缩略图像追加显示在检验图像显示栏504A中。由于检验图像显示栏504A中有显示区域的制约，因此， 能够进行预先决定的张数为止的图像显示。在本实施方式中，例如，如图8所示，能够进行5张图像为止的显示，对于除此之外的检验图像，可由滚动操作来切换显示图像。

在此，平均颜色条507可由与脏器的种类对应的平均颜色而区分，因此，医生可参照平均颜色条507直观地将显示图像迅速移到与所希望的脏器有关的摄像图像的位置上。此时，使用未图示的鼠标移动操作平均颜色条507的滑块S即可。在平均颜色条507上移动操作滑块S时，在图像显示栏503中，执行可跟随该移动顺序切换到由滑块S表示的位置的图像的处理。

在本实施方式中，当医生从显示图像发现了出血部位时，可对每个摄像图像赋予作为出血部位的标志。此时，虽然未图示，但是可以在显示在当前图像显示栏503中的状态下显示子菜单，通过手动进行出血部位的标记设定即可。由此，例如，如图8所示，可如出血部位V1、V2那样与平均颜色条507的位置对应进行显示。

另外，也能够通过图像处理自动抽出出血部位，此时，操作508所示的出血部位自动检索按钮即可。通过该出血部位自动检索按钮508的操作，既可以对显示在当前图像显示栏503的图像进行，也可以对全部图像进行出血部位抽出。通过自动检索发现了出血部位时，与手动时相同，对应每个图像赋予标记即可。

医生的诊察可以通过“诊察结束打印病历簿”的菜单操作来结束。诊察结果成为病历簿从工作站5通过未图示的打印机，或者经由数据库8被打印。

在平均颜色条507的显示中，如图9进行处理。即，由图7所示的一览显示决定诊察对象的患者时，对应该患者的摄像信息文件被指定。并且，从存储器53读出一帧的图像文件并打开(步骤S1)，测定以帧为单位的摄像图像的平均颜色(步骤S2)。

测定平均颜色，并得到平均颜色数据时，该第一帧的平均颜色数据被存储到存储器53中(步骤S3)。并且，已经处理的图像文件被关闭，按时间序列排列的下一个图像文件被读出、打开，之后，反复执行同样的处理(步骤5的“否”路径)。

对诊察对象患者的全部摄像信息求出平均颜色时(步骤S5)，使用存储在存储器53中的平均颜色数据，如图8所示显示控制平均颜色条507(步骤S6)。这样，完成平均颜色条507的显示。此时，滑块S的初始位置设为平均颜色条507的左端(开始位置)，但是并不限定于此。

另外，包含摄像图像数据等的摄像信息成为庞大的信息量，因此，也可以无需打开所有的图像文件并对全帧求出平均颜色，高效率地在间除数帧的同时求出平均颜色。另外，在本实施方式中，将求出的平均颜色显示在平均颜色条507上，但并不限定于此，将与该平均颜色对应的颜色显示在平均颜色条507上即可。

如上所说明，根据本实施方式，显示了表示由胶囊内窥镜(体内摄像装置)按时间序列拍摄的输入图像数据的整个摄像期间的刻度，显示能够在该刻度上移动的滑块，显示与刻度上的滑块移动进行联动而与滑块位置对应的摄像时刻的图像，将与输入图像数据的一个画面的平均颜色信息对应的颜色显示在刻度上的时间上对应的位置上，因此，根据摄像部位区分颜色，并由该区分颜色后的颜色能够容易地判断体内脏器。由此，提高了图像检索性，并且，能够容易识别显示图像是哪个脏器的图像。

然后，在上述实施方式中，将排列在平均颜色条上的平均颜色作为指标识别脏器位置，但本发明并不限定于此，如以下所说明的变形例那样，也可以具有使脏器名对应于平均颜色而显示的追加功能。从而，以下所说明的变形例与前述结构以及功能相同，因此，只说明追加部分。

在此，图10是表示与根据本实施方式一个变形例的诊察处理有关的显示画面的一个例子的图，图11是说明根据本实施方式一个变形例的脏器名自动辨别原理的图，并且，图12是说明根据本实施方式一个变形例的脏器名自动辨别原理的流程图。

在图10中，脏器名与平均颜色条507的各平均颜色对应显示。在平均颜色条507中，以胶囊内窥镜10在体内以时间序列摄像的顺序，平均颜色按食道、胃、小肠、大肠的顺序排列。从而，在平均颜色条507中，与各脏器的平均颜色对应，以食道、胃、小肠、大肠的顺序显示脏器名509。

并且，自动辨别脏器名时自动辨别脏器范围。经过时间中的各摄像图像的红色水平、蓝色水平具有如图11所示的特性。实际图像包含着噪音成分，因此，对具有该特性的红色、蓝色水平在时间轴方向上施加低通滤波(LPF)处理来去除噪音。并且，抽出对LPF处理后的时间轴方向的红色、蓝色的各水平共同具有的边缘部位(变色边缘)。

在图11的例中，由上述抽出的变色边缘，是①、②、③三处。从而，根据变色边缘①、②、③的时间轴方向的位置，进行如下的自动判别，即最初的变色边缘①是从食道向胃的移动部位，②是从胃向小肠的移动部位，并且，③是从小肠向大肠的移动部位。此时的脏器名位次是根据被胶囊内窥镜10摄像的脏器的时间轴方向排列的。

在此，作为根据以上原理的处理，首先算出红色水平、蓝色水平(步骤S21)，对红色水平、蓝色水平分别施加时间轴方向的LPF处理(步骤S22)，根据进行变色边缘①、②、③的检测(步骤S23)。并且，根据变色边缘①、②、③的时间位置进行脏器范围的自动辨别，与平均颜色条507的各平均颜色对应来显示脏器名(步骤S24)。

这样，对表示由胶囊内窥镜按时间序列拍摄的输入图像数据的整个摄像期间的刻度进行显示，显示在该刻度上能够移动的滑块，显示与刻度上的滑块移动进行联动而与滑块位置对应的摄像时刻的图像，根据输入图像数据的一个画面的颜色信息来辨别脏器，对应刻度显示脏器名，因此，能够根据显示的脏器名容易地判断体内的脏器。由此，提高图像的检索性，并且，能够容易地识别显示图像是哪个脏器的图像。

然后，在上述变形例中，根据变色边缘自动辨别平均颜色条上的脏器范围，但是本发明并不限定于此，也可以在胶囊内窥镜10中设置pH传感器，并使用测定的pH值使脏器范围的确定更正确。此时，在观察期间中，由pH传感器测定pH值，对于该pH值也与摄像图像同样按时间序列测定，并存储在接收机4中。此时，在各帧(图像文件)中使摄像图像和pH值共存等来使其相关联进行存储。

在此，图13是说明图11的变形例的应用例的图。在追加了该pH值的自动辨别中，如图13所示，利用胃是酸性这一点，比较酸性部位和变色边缘①、②，从而辨别胃的部位，能够进一步提高辨别精度。

接着，对前述实施方式中的病历簿制作进行说明。图14是说明与根据本实施方式的诊察流程有关的画面变迁的一个例子的图，图15是说明根据本实施方式的指定图像的摄影时间显示用的动作的流程图。医生的诊察可以由“诊察结束打印病历簿”的菜单操作来结束，但是还可以移到病历簿制作流程。

处理从图8的显示画面移到图14的显示画面时，进行医生的评语记入和表示各检验图像在平均颜色条507上对应哪个经过时间的标记显示。

即，在图14中，504B表示检验图像显示栏，采用比前述检 验图像显示栏504A大的区域，并设置在画面下段。另外，作为与检验图像显示栏504A不同的点，向各摄像图像赋予编码①～⑩进行显示。该检验图像显示栏504B具有与检验图像显示栏504A相同的功能。

510表示输入医生意见(评语)进行显示的评语插入栏。在该评语插入栏510中，医生的诊断结果作为评语被插入。511表示摄影时间显示标记，该摄影时间显示标记对于显示在检验图像显示栏504B中的对象检验图像，分别在平均颜色条507上作为标记显示是哪个经过时间时的摄像图像。作为该摄影时间显示标记，显示作为在平均颜色条507上指示检验图像的摄像时刻的指标的向下箭头、和为使明确与检验图像的对应关系而赋予检验图像的上述编号，该上述编号表示与检验图像关联的关联显示。

在图14中，作为例子举出了10张检验图像。该例中，在平均颜色条507上，按照食道、胃、小肠、大肠的顺序按时间序列对平均颜色进行了颜色区分。从而，由脏器名509的各脏器范围可知，在食道范围中存在检验图像的标记①，在胃范围中存在检验图像的标记②、③以及④。另外，在小肠范围中存在检验图像的标记⑤、⑥、⑦、⑧、⑨以及⑩。

从而，根据图14的例子，可确认在食道、胃、小肠上分别存在医生检验的图像，并且，与各检验图像被摄影时的时间对应而显示配置了标记，因此，医生能够容易地确认检验图像是在各脏器的哪处摄影的图像。此外，在图14中，在显示脏器名的平均颜色条507上显示摄影时间显示标记，但是也可以如图8那样显示在没有显示脏器名的平均颜色条上。另外，在图14中，作为摄影时间显示标记，显示了表示与检验图像的关联的关联显示(编号)，但是，也可以是表示摄像时刻的位置的指标(向下箭头)。

对于以上的标记显示，使用图15说明其处理。在检验图像即 指定图像的摄影时间显示中，首先从存储器53取得指定图像的文件制作日期时间(步骤S31)，算出从摄影开始日期时间起的经过时间(步骤S32)。并且，在与平均颜色条507上的经过时间对应的地方，以平均颜色条507的刻度，控制如图14所示的标记显示(步骤S33)。之后，当操作了病历簿打印时，执行用于打印病历簿的输出。

如上所说明，根据本实施方式，显示了表示由胶囊内窥镜(体内摄像装置)按时间序列拍摄的输入图像数据的整个摄像期间的刻度，将与输入图像数据的一个画面的平均颜色信息对应的颜色显示在刻度上的时间上对应的位置上，显示与输入图像数据对应的图像，在刻度上显示表示与被指定的图像的摄像时刻对应的位置的指标，因此，能够在视觉上容易地识别指定图像在哪个时间带上有多少等。另外，可根据按摄像部位区分颜色的颜色，容易地判断脏器，因此可容易地识别指定图像在哪个脏器的哪处较多。

另外，显示表示由胶囊内窥镜按时间序列拍摄的图像数据的整个摄像期间的刻度，根据输入图像数据的一个画面的颜色信息来辨别脏器，使该被辨别的脏器名与刻度对应进行显示，显示与输入图像数据对应的图像，在刻度上显示表示与被指定的图像的摄像时刻对应的位置的指标，因此，能够根据显示的脏器名而容易地判断体内的脏器。由此，能够容易地识别指定图像在哪个脏器的哪处较多。

如上所说明，根据该发明，显示表示由体内摄像装置按时间序列拍摄的输入图像数据的整个摄像期间的刻度，将与输入图像数据的一个画面的平均颜色信息对应的颜色显示在与刻度上的时间对应的位置上，显示与输入图像数据对应的图像，在刻度上显示表示与被指定图像的摄像时刻对应的位置的指标，因此，具有如下效果，能够在视觉上容易地识别指定图像在哪个时间带上有 多少等，并且，可根据按摄像部位而区分颜色的颜色容易地判断脏器，因此，能够容易地识别指定图像在哪个脏器的哪处较多。

另外，根据该发明，显示表示由体内摄像装置按时间序列拍摄的图像数据的整个摄像期间的刻度，根据输入图像数据的一个画面的颜色信息来辨别脏器，使该被辨别的脏器名与刻度对应进行显示，显示与输入图像数据对应的图像，在刻度上显示了表示与被指定图像的摄像时刻对应的位置的指标，因此，具有如下效果，能够根据显示的脏器名容易地判断体内的脏器，由此，能够容易地识别指定图像在哪个脏器的哪处较多。

工业上的可利用性

如上所述，与本发明有关的图像显示装置、图像显示方法以及图像显示程序，适用于对使用胶囊型内窥镜等按时间序列拍摄体内得到的庞大图像进行检索的系统。

Claims (18)

1.一种图像显示装置，其特征在于，具备：

取得单元，其取得由体内摄像装置拍摄的多个图像；

平均颜色条显示单元，其显示对由前述多个图像构成的图像数据进行描绘的、按时间序列以每个图像的平均颜色进行颜色区分的平均颜色条；以及

指标显示单元，其显示与前述平均颜色条相对应地表示范围的指标，使得关于前述多个图像在前述平均颜色条上形成多个区间。

2.根据权利要求1所述的图像显示装置，其特征在于，

前述平均颜色条显示单元具备：

颜色信息检测单元，其对于前述多个图像或对前述多个图像间除数帧得到的图像检测颜色信息；

平均颜色生成单元，其根据前述颜色信息检测单元所检测到的颜色信息，对于前述多个图像或对前述多个图像间除数帧得到的图像生成平均颜色；以及

平均颜色显示单元，其与包含有生成了前述平均颜色的图像的位置相对应地显示检测出前述颜色信息的图像的平均颜色，

前述指标显示单元与由前述平均颜色条显示单元显示的检测出前述颜色信息的图像的平均颜色相对应地显示前述指标。

3.根据权利要求2所述的图像显示装置，其特征在于，

具备脏器辨别单元，该脏器辨别单元根据前述颜色信息检测单元检测到的颜色信息辨别脏器，

该脏器辨别单元具备变色边缘检测单元，该变色边缘检测单元根据由前述颜色信息检测单元检测到的颜色信息检测前述颜色信息的特性发生变化的变色边缘，

前述指标显示单元将前述变色边缘作为前述区间的边界而形成前述区间。

4.根据权利要求1所述的图像显示装置，其特征在于，

前述平均颜色条表示取得前述多个图像的整个摄像期间。

5.根据权利要求3所述的图像显示装置，其特征在于，

前述脏器辨别单元根据所形成的前述区间来辨别脏器，

前述指标显示单元对与由前述脏器辨别单元辨别的脏器对应的区间显示指标。

6.根据权利要求5所述的图像显示装置，其特征在于，

前述指标显示单元使由前述脏器辨别单元辨别的脏器名与前述平均颜色条相对应地进行显示。

7.根据权利要求5所述的图像显示装置，其特征在于，

前述脏器辨别单元采纳与检测出前述颜色信息的图像关联而得到的脏器的pH值，来辨别脏器。

8.根据权利要求6所述的图像显示装置，其特征在于，

前述脏器辨别单元采纳与检测出前述颜色信息的图像关联而得到的脏器的pH值，来辨别脏器。

9.根据权利要求1所述的图像显示装置，其特征在于，

前述指标被显示在报告作成画面上。

10.一种图像显示方法，其特征在于，包括：

取得步骤，取得由体内摄像装置拍摄的多个图像；

平均颜色条显示步骤，显示对由前述多个图像构成的图像数据进行描绘的、按时间序列以每个图像的平均颜色进行颜色区分的平均颜色条；以及

指标显示步骤，显示与前述平均颜色条相对应地表示范围的指标，使得对于前述多个图像在平均颜色条上形成多个区间。

11.根据权利要求10所述的图像显示方法，其特征在于，

前述平均颜色条显示步骤具备：

颜色信息检测步骤，对于前述多个图像内或对前述多个图像间除数帧得到的图像检测颜色信息；

平均颜色生成步骤，根据在前述颜色信息检测步骤中检测到的颜色信息，对于前述多个图像内或对前述多个图像间除数帧得到的图像生成平均颜色；以及

平均颜色显示步骤，与包含有生成了前述平均颜色的图像的位置相对应地显示检测出前述颜色信息的图像的平均颜色，

在前述指标显示步骤中与通过前述平均颜色条显示步骤显示的检测出前述颜色信息的图像的平均颜色相对应地显示前述指标。

12.根据权利要求11所述的图像显示方法，其特征在于，

具备脏器辨别步骤，在该脏器辨别步骤中，根据由前述颜色信息检测步骤检测到的颜色信息来辨别脏器，

前述脏器辨别步骤包含变色边缘检测步骤，在该变色边缘检测步骤中，根据在前述颜色信息检测步骤检测到的颜色信息检测前述颜色信息的特性发生变化的变色边缘，

在前述指标显示步骤中将前述变色边缘作为前述区间的边界而形成区间。

13.根据权利要求10所述的图像显示方法，其特征在于，

在前述平均颜色条显示步骤中显示平均颜色条，其中，所述平均颜色条表示取得了前述多个图像的整个摄像期间。

14.根据权利要求12所述的图像显示方法，其特征在于，

在前述脏器辨别步骤中根据所形成的前述区间来辨别脏器，

在前述指标显示步骤中对与通过前述脏器辨别步骤辨别的脏器对应的区间显示前述指标。

15.根据权利要求14所述的图像显示方法，其特征在于，

在前述指标显示步骤中使通过前述脏器辨别步骤辨别的脏器名与前述平均颜色条相对应地进行显示。

16.根据权利要求14所述的图像显示方法，其特征在于，

在前述脏器辨别步骤中采纳与检测出前述颜色信息的图像关联而得到的脏器的pH值，来辨别脏器。

17.根据权利要求15所述的图像显示方法，其特征在于，

在前述脏器辨别步骤中采纳与检测出前述颜色信息的图像关联而得到的脏器的pH值，来辨别脏器。

18.根据权利要求10所述的图像显示方法，其特征在于，

前述指标被显示在报告作成画面上。

Images