CN105828695B

CN105828695B - 图像处理装置

Info

Publication number: CN105828695B
Application number: CN201580003134.1A
Authority: CN
Inventors: 西村博; 西村博一
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2014-05-29
Filing date: 2015-03-31
Publication date: 2018-11-13
Anticipated expiration: 2035-03-31
Also published as: JPWO2015182239A1; CN105828695A; EP3150107A1; EP3150107A4; WO2015182239A1; JP5927361B2

Abstract

滤波处理部(25)对第2图像应用抑制高频成分的滤波器，所述第2图像是对使用内窥镜拍摄的第1图像应用至少包含放大处理的图像处理而生成的。图像缩小部(26)对应用滤波器后的第2图像应用缩小处理而生成第3图像。滤波器设定部(24)至少根据与能够在第1图像中再现的最高频率成分相关的信息和与应该在第3图像中再现的最高频率成分相关的信息，设定滤波器的特性。

Description

图像处理装置

技术领域

本发明涉及生成内窥镜图像的缩小图像的图像处理装置。

背景技术

在内窥镜中使用的摄像元件(例如CCD、CMD、CMOS)的尺寸是多种多样的。例如，根据观察脏器/部位、内窥镜的粗细/功能的差异，摄像元件的尺寸差异较大。在观察支气管或胆道等较细管腔的情况下，使用安装有低像素数的摄像元件的细直径的内窥镜。并且，为了发现食道、胃、大肠等的病变，使用细直径～粗直径的各种粗细的内窥镜，根据粗细，安装了低像素数～高像素数的各种摄像元件。一般而言，较粗的内窥镜的前端部的空间还存在富余，能够安装优先图像质量的高像素数的摄像元件。

此外，在对观察脏器/部位进行详细观察的情况下，使用安装有高像素数的摄像元件的内窥镜。另一方面，在对脏器/部位实施处置等的情况下，使用与目的对应的内窥镜。在前者的情况下，优先考虑拍摄高图像质量且高分辨率的图像。在后者的情况下，优先考虑用于供处置器械通过的通道的直径/数量和送水功能等、处置用的部件，因此摄像元件的尺寸相对较小。这样在内窥镜中，根据基于所要求的功能的设计条件，使用像素数和尺寸不同的各种摄像元件。

并且，伴随技术的进步，在内窥镜中使用的摄像元件日益高像素化。另一方面，通常旧型号的内窥镜也以能够与新系统的照相机控制单元(CCU：Camera Control Unit)连接的方式，被设计成维持兼容性。虽然从内窥镜图像的视频化起经过了20 年以上，但三代前的内窥镜也能够与新系统的照相机控制单元连接。在这样的状况下，对几代前的内窥镜和最新的内窥镜进行比较时，摄像元件的像素数产生了10倍、20 倍这样的较大差异。

由内窥镜拍摄的图像在照相机控制单元中，被转换为显示或记录用的图像(以下适当称作观察记录图像)。通常，将由内窥镜拍摄的图像放大而生成观察记录图像。进而，为了观察记录图像的一览显示，将观察记录图像缩小而生成索引图像(也可以称作缩略图像)。观察记录图像和索引图像通常以恒定的尺寸生成。

现有技术文献

专利文献

专利文献1：日本特开2012-5044号公报

发明内容

发明所要解决的课题

在缩小观察记录图像而生成索引图像的情况下，有时产生混叠失真(Aliasing、混叠)。为了抑制混叠失真，有效的是对缩小前的观察记录图像应用频带抑制处理。在该频带抑制过度的情况下，有时产生过度的平滑化。另一方面，在频带抑制过小的情况下，无法充分去除混叠失真。特别是在内窥镜图像中，由于转换为观察记录图像前的原始图像的尺寸是多种多样的，因此容易产生由于过度的平滑化而引起的或由于混叠失真而引起的、索引图像的图像质量下降。

本发明正是鉴于这种状况而完成的，其目的在于提供一种高品质地缩小观察记录图像的技术。

用于解决课题的手段

本发明的某个方式的图像处理装置具有：滤波处理部，其对第2图像应用抑制高频成分的滤波器，所述第2图像是对使用内窥镜拍摄的第1图像应用至少包含放大处理的图像处理而生成的；图像缩小部，其对应用所述滤波器后的第2图像应用缩小处理而生成第3图像；以及滤波器设定部，其至少根据与能够在所述第1图像中再现的最高频率成分相关的信息和与应该在所述第3图像中再现的最高频率成分相关的信息，设定所述滤波器的特性。

另外，以上的结构要素的任意组合、在方法、装置、系统、记录介质、计算机程序等之间对本发明的表达进行转换后的方式作为本发明的方式，也是有效的。

发明的效果

根据本发明，能够高品质地缩小观察记录图像。

附图说明

图1是示出在本实施方式的说明中出现的拍摄图像、观察记录图像、索引图像之间的关系的图。

图2是示出由低像素摄像元件、中等像素摄像元件和高像素摄像元件拍摄的拍摄图像、根据拍摄图像而生成的观察记录图像、以及根据观察记录图像而生成的索引图像的各图像尺寸的一例的图。

图3是示出具有理想特性的低通型滤波器的频率响应的图。

图4是示出被应用于高像素观察记录图像的低通型滤波器的频率响应的图。

图5是示出被应用于中等像素观察记录图像的低通型滤波器的频率响应的图。

图6是示出被应用于低像素观察记录图像的低通型滤波器的频率响应的图。

图7是示出高斯滤波器的频率响应的图。

图8是示出组合图7的高斯滤波器而成的滤波器的频率响应的图。

图9是示出相对于观察记录图像的生成的、包含内窥镜和照相机控制单元在内的系统整体的MTF的频率响应的一例的图。

图10是对图8追加了h3(k，l)*h5(k，l)*h5(k，l)的滤波器的频率响应的图(*表示卷积运算)。

图11是示出本发明实施方式的医用图像管理系统的结构的图。

图12是示出图11的内窥镜50和照相机控制单元的内部结构的图。

图13是示出图11的图像归档装置的内部结构的图。

图14是示出本发明实施方式的索引图像生成方法的流程图。

图15是示出图14的流程图的步骤S13的子例程的图。

具体实施方式

以下，说明本发明实施方式的索引图像生成处理的基本原理。图1是示出在本实施方式的说明中出现的拍摄图像I1、观察记录图像I2、索引图像I3之间的关系的图。通常，观察记录图像I2的尺寸(ISX2×ISY2)比拍摄图像I1的尺寸(ISX1×ISY1) 大。即，近年来，高精细的HDTV(High Definition TeleVision：高清电视)普及，在内窥镜系统中也使用高分辨率的画面尺寸1920×1080等。针对该画面尺寸，对例如以 ISX1×ISY1＝800×800拍摄的图像进行放大处理，从而显示ISX2×ISY2＝1000×1000的内窥镜图像。另外，在一直以来普及的SDTV(Standard Definition TeleVision：标准清晰度电视)的情况下，ISX2×ISY2大多情况最大为640×480左右，在这样的情况下有时缩小拍摄图像I1而生成观察记录图像I2，但在该情况下，由于认为在图像I2中已经充分应用了的频带抑制处理，因此不需要考虑拍摄图像I1的尺寸ISX1×ISY1。此外，在根据拍摄图像I1生成观察记录图像I2时，在放大处理之前或之后，还执行伽马校正、颜色校正等图像处理。由此，生成容易视觉辨认的观察记录图像I2。在生成观察记录图像I2后，基本上删除拍摄图像I1。

拍摄图像I1的尺寸(ISX1×ISY1)根据内窥镜所包含的固体摄像元件的差异而多种多样，但观察记录图像I2的尺寸(ISX2×ISY2)的种类受到限制。这是为了使得医生等尽可能地能够用同等的尺寸对观察记录图像I2进行观察。

索引图像I3的尺寸(ISX3×ISY3)在大多情况下，不论拍摄图像I1的尺寸 (ISX1×ISY1)和观察记录图像I2的尺寸(ISX2×ISY2)如何，都设为恒定的尺寸。索引图像大多在一览显示中被利用，因此在将尺寸统一时，能够更清晰地显示一览显示画面。

以下，说明根据由低像素摄像元件拍摄的低像素拍摄图像IL1、由中等像素摄像元件拍摄的中等像素拍摄图像IM1、和由高像素摄像元件拍摄的高像素拍摄图像IH1 生成索引图像I3的例子。

图2是示出由低像素摄像元件、中等像素摄像元件和高像素摄像元件拍摄的拍摄图像IL1、IM1、IH1、根据拍摄图像IL1、IM1、IH1而生成的观察记录图像IL2、IM2、 IH2、以及根据观察记录图像IL2、IM2、IH2而生成的索引图像IL3、IM3、IH3的各图像尺寸的一例的图。以下在本说明书中，为了简化，将摄像元件的有效像素数和拍摄图像的像素数视作相同的值来进行说明。

更具体而言，图2示出了由低像素摄像元件拍摄的低像素拍摄图像IL1、由中等像素摄像元件拍摄的中等像素拍摄图像IM1、由高像素摄像元件拍摄的高像素拍摄图像IH1、根据低像素拍摄图像IL1而生成的低像素观察记录图像IL2、根据中等像素拍摄图像IM1而生成的中等像素观察记录图像IM2、根据高像素拍摄图像IH1而生成的高像素观察记录图像IH2、根据低像素观察记录图像IL2而生成的低像素索引图像IL3、根据中等像素观察记录图像IM2而生成的中等像素索引图像IM3、和根据高像素观察记录图像IH2而生成的高像素索引图像IH3的各图像尺寸的一例。

通常，在缩小图像而生成索引图像的情况下，不对拍摄图像IL1、IM1、IH1而对观察记录图像IL2、IM2、IH2应用缩小处理。缩小处理能够使用单纯的间隔剔除法、双三次法、线性插值法等通常的缩小算法。在由于缩小而产生混叠失真的情况下，在应用缩小处理之前，应用频带抑制处理。频带抑制处理通常使用平滑化滤波或低通型滤波。

作为单纯的频带抑制处理，根据观察记录图像IL2的水平方向的像素数ISX2/垂直方向的像素数ISY2与索引图像I3的水平方向的像素数ISX3/垂直方向的像素数 ISY3的比率，计算最高频率，对观察记录图像IL2应用具有对超过该最高频率的频带成分进行抑制的效果的滤波器。该最高频率相当于奈奎斯特频率的概念。例如，将高像素观察记录图像IH2(图像尺寸为1000×1000)缩小为高像素索引图像IH3(图像尺寸160×160)时的、高像素观察记录图像IH2中的最高频率fn2用下述式(1) 计算。

fn2＝(160/1000)×M···式(1)

其中，M是与能够在图像上再现的最大空间频率对应的数值，例如在设为2M＝256的情况下，M＝128。例如，与以下情况对应：能够在图像尺寸、具体为水平/垂直方向的像素数是256的图像上，最大显示128组的黑白的线对。在上述式(1)中代入 M＝128时，最高频率fn2为20.4。

图3是示出具有理想特性的低通型滤波器的频率响应的图。横轴表示空间频率，纵轴表示频率响应。该滤波器是作为索引图像I3的生成的预处理而对观察记录图像 I2应用的滤波器。在图3所示的滤波器中，在最高频率fn2以下的空间频率中，频率响应为1，在超过最高频率fn2的空间频率中，频率响应为0。另外，也可以替代低通型滤波器，而使用具有近似的特性的滤波器。

以上对频带抑制在理论上进行了说明，但混叠失真的产生实际上还取决于是怎样的拍摄对象。在主要观察生物体粘膜表面的内窥镜图像中，通常，拍摄接近所允许的最大频率的细微的构造的情况较少。但是，在内窥镜图像中，也存在容易产生混叠失真的图像。例如晕影的边缘部由于示出急剧的变化，因此容易产生混叠失真。此外，在色素/染色剂的散布或NBI(Narrow Band Imaging：窄带成像)等特殊光观察中拍摄比较细微的构造，产生混叠失真的可能性增大。考虑到这些，在设计平均能够得到良好的图像质量的低通型滤波器等方面，考虑通过针对索引图像I3的目视评价，决定应用于观察记录图像I2的滤波器。

但是，本来存在于观察记录图像IL2、IM2、IH2的最大的频率成分基本上通过摄像元件的像素数规定。即使观察记录图像IL2的尺寸(ISX2×ISY2)相等、或为相同程度，在根据由高像素摄像元件拍摄的高像素拍摄图像IH1而生成的高像素观察记录图像IH2、和根据由低像素摄像元件拍摄的低像素拍摄图像IL1而生成的低像素观察记录图像IL2中，可存在于各个图像上的最大的频率成分有较大差异。

在将为了高像素观察记录图像IH2用而生成的频带抑制滤波器应用于低像素观察记录图像IL2时，对细微的高频带的构造成分原本较少的图像进一步施加平滑化效果。因此，在缩小应用该频带抑制滤波器后的低像素观察记录图像IL2而生成的索引图像IL3中产生模糊。

反之，在将能够针对低像素观察记录图像IL2或中等像素观察记录图像IM2得到目视上良好的图像质量的缩小图像的频带抑制滤波器应用于高像素观察记录图像 IH2时，无法得到充分的频带抑制效果。即，在缩小应用该频带抑制滤波器后的高像素观察记录图像IH2而生成的索引图像IH3中产生混叠失真。

鉴于上述情况，在本发明的实施方式中，考虑通过摄像元件的像素数规定的最高频率，变更频带抑制滤波器的频率特性。由此，不论针对由多种多样的像素数的摄像元件的哪一个拍摄的图像，都能够应用恰当的缩小处理，能够得到良好的图像质量的缩小图像。在使用数字滤波器的情况下，变更数字滤波器的系数来变更频带抑制滤波器的频率特性。此外，在用多个滤波器的组合来实现的情况下，变更多个滤波器的组合方式、和/或反复应用次数来变更频带抑制滤波器的频率特性。

首先，说明缩小高像素观察记录图像IH2的情况下的最高频率。在根据高像素拍摄图像IH1而生成高像素索引图像IH3的情况下，着眼于高像素拍摄图像IH1的尺寸(ISX1×ISY1)和高像素索引图像IH3的尺寸(ISX3×ISY3)。在图2中，记载了高像素拍摄图像IH1的水平方向的像素数ISX1与垂直方向的像素数ISY1、高像素索引图像IH3的水平方向的像素数ISX3与垂直方向的像素数ISY3分别相等的例子。

另外，在水平方向的像素数与垂直方向的像素数不同的情况下，例如以最大程度地避免混叠失真产生的方式来选择像素数。具体而言，在高像素拍摄图像IH1的水平方向的像素数ISX1和垂直方向的像素数ISY1中选择较大的像素数，在高像素索引图像IH3的水平方向的像素数ISX3和垂直方向的像素数ISY3中选择较小的像素数。另外，也可以替代像素数而考虑分辨率。拍摄图像I1中的最高频率fn1用下述式(2)计算。

fn1＝(ISX3/ISX1)×M···式(2)

在使用高像素摄像元件的情况下，根据(160/800)×128，最高频率fn1为25.6。同样，在使用中等像素摄像元件的情况下为34.1，在使用低像素摄像元件的情况下为 51.2。

实际的频带抑制处理(即滤波处理)被应用于观察记录图像I2，因此滤波器的频率特性考虑到观察记录图像I2的尺寸(ISX2×ISY2)。实际上使用比例转换后的最高频率fns。比例转换后的最高频率fns用下述式(3)计算。

fns＝((ISX3/ISX1)×M)×(ISX2/ISX1)···式(3)

在使用高像素摄像元件的情况下，进行比例转换后的最高频率fns为32。同样，在使用中等像素摄像元件的情况下为56.8，在使用低像素摄像元件的情况下为82.4。通过从拍摄图像I1放大为观察记录图像I2，与频率的一个周期对应的波长变长，因此向低频一侧变化。

图4是示出被应用于高像素观察记录图像IH2的低通型滤波器的频率响应的图。图5是示出被应用于中等像素观察记录图像IM2的低通型滤波器的频率响应的图。图6是示出被应用于低像素观察记录图像IL2的低通型滤波器的频率响应的图。图 4-图6均描绘出理想特性的低通型滤波器。在图4-图6中示出理想特性的低通型滤波器的频率特性，但实际上难以用现实的滤波器尺寸来实现同等的特性。因此，通过频带抑制→缩小→清晰度校正，抑制过度的模糊产生。之后，将高像素观察记录图像 IH2、中等像素观察记录图像IM2和低像素观察记录图像IL2中的最高频率分别设为 fnH＝32、fnM＝57和fnL＝83。这是将上述最高频率的小数点以下进位而得到的数值。

以下，说明通过使用了数字滤波器的滤波(更具体而言，为卷积运算)来实现上述频带抑制处理的方法。在以下的例子中，通过小尺寸的滤波器的组合来高速地实现期望的频带抑制。具体而言，通过n×n(n是3以上的整数(奇数))的高斯滤波器的组合来实现。

下述式(4)示出使用了高斯系数的掩模尺寸为3×3的高斯滤波器h3(k，l)。下述式(5)示出掩模尺寸为5×5的高斯滤波器h5(k，l)。下述式(6)示出掩模尺寸为7×7的高斯滤波器h7(k，l)。高斯滤波器与单纯地将关注像素周边的亮度值进行平均的移动平均滤波器不同，是越接近关注像素的亮度值，越增大实施积和运算时的权重的滤波器。使用高斯分布的函数来决定各系数。高斯滤波器具有与低通型滤波器 (低通滤波器)同等的作用。

上述式(5)所示的5×5的高斯滤波器h5(k，l)和上述式(6)所示的7×7的高斯滤波器h7(k，l)通过对3×3的高斯滤波器h3(k，l)内插0而生成。由此，能够与3×3的高斯滤波器h3(k，l)同样地将相乘次数抑制为9次，能够进行高速运算。

图7是示出高斯滤波器的频率响应的图。在图7中，示出上述式(4)所示的3×3 的高斯滤波器h3(k，l)、上述式(5)所示的5×5的高斯滤波器h5(k，l)、上述式 (6)所示的7×7的高斯滤波器h7(k，l)、9×9的高斯滤波器h9(k，l)的频率响应。 9×9的高斯滤波器h9(k，l)也是对3×3的高斯滤波器h3(k，l)内插了0而得到的。

通过组合这些基本的高斯滤波器，能够实现各种频率特性。即，通过任意组合这些高斯滤波器并进行卷积运算，能够实现各种频率特性。另外，也可以多次使用相同的高斯滤波器。

图8是示出组合图7的高斯滤波器而成的滤波器的频率响应的图。在图8中，示出h3(k，l)*h3(k，l)的滤波器、h3(k，l)*h5(k，l)的滤波器和h3(k，l) *h5(k，l)*h7(k，l)的滤波器的频率响应。*表示卷积运算。

在上述例子中，将低像素观察记录图像IL2中的最高频率fnL设为83。在h3(k， l)*h3(k，l)的滤波器中，能够将空间频率为80以上的频带成分抑制为0.1以下。因此，通过对低像素观察记录图像IL2应用3×3的高斯滤波器h3(k，l)，并对该滤波后的图像再次应用3×3的高斯滤波器h3(k，l)，能够抑制超过最高频率fnL的频带成分。另外，在本实施方式中，通过将频率响应设为小于0.1，实现了频带成分的抑制。

并且在上述例子中，将中等像素观察记录图像IM2中的最高频率fnM设为57。在h3(k，l)*h5(k，l)的滤波器中，能够将空间频率为48以上的频带成分抑制为 0.1以下。因此，通过对中等像素观察记录图像IM2应用3×3的高斯滤波器h3(k，l)，并对该滤波后的图像应用5×5的高斯滤波器h5(k，l)，能够抑制超过最高频率fnM 的频带成分。

并且在上述例子中，将高像素观察记录图像IH2中的最高频率fnH设为了32。在h3(k，l)*h5(k，l)*h7(k，l)的滤波器中，能够将空间频率为25以上的频带成分抑制为0.1以下。因此，通过对高像素观察记录图像IH2应用3×3的高斯滤波器 h3(k，l)，对该滤波后的图像应用5×5的高斯滤波器h5(k，l)，并对该滤波后的图像应用7×7的高斯滤波器h7(k，l)，能够抑制超过最高频率fnH的频带成分。

通过对应用了以上的滤波后的观察记录图像I2进行缩小，能够得到不产生混叠失真的良好的索引图像I3。缩小处理能够使用双三次法等通常的方法。另外，双三次法也存在一些频带抑制效果，因此考虑到该情况，可以稍微减弱缩小处理前的滤波的频带抑制效果。

并且，还可以对所生成的索引图像I3进行使用了清晰度校正滤波器的清晰度校正。清晰度校正滤波器对索引图像I3中的不被频带抑制而残留的频带成分、即通过低通型滤波器后的频带成分具有放大效果。清晰度校正滤波器能够由使高频成分通过的高通型滤波器(高通滤波器)构成。下述式(7)示出对高像素索引图像IH3应用的清晰度校正滤波器的一例。该滤波器h3s(k，l)是与上述式(4)示出的具有频带抑制效果的高斯滤波器h3(k，l)处于相反的关系的高通型滤波器，具有提取图像上的高频带成分(大多为边缘成分)的效果。

通过下述式(8)，生成应用了上述式(7)所示的清晰度校正滤波器的高频索引图像gH3(x，y)。

gH3(x，y)＝IH3(x，y)*h3s(k，l)···式(8)

使用高频索引图像gH3(x，y)来校正高像素索引图像IH3(x，y)，生成进行清晰度校正后的高像素索引图像IH3’(x，y)。如下述式(9)所示，进行清晰度校正后的高像素索引图像IH3’(x，y)是通过对高像素索引图像IH3(x，y)加上进行加权后的高频索引图像λgH3(x，y)而生成的。

IH3’(x，y)＝IH3(x，y)+λgH3(x，y)···式(9)

λ设定为例如0.2。还能够通过同样的方法，生成进行清晰度校正后的中等像素索引图像IM3’(x，y)、和进行清晰度校正后的低像素索引图像IL3’(x，y)。

如以上所说明那样，通过考虑由摄像元件的像素数规定的最高频率来变更频带抑制滤波器的频率特性，不论针对多种多样的像素数的摄像元件的哪一个所拍摄的图像，都能够应用恰当的缩小处理，能够得到良好的图像质量的缩小图像。

(变形例1)

接着，说明节省资源且高速地执行用于上述频带抑制的滤波处理的方法。如上所述，高像素索引图像IH3(x，y)通过如下述式(10)所示那样对高像素观察记录图像IH2(x，y)卷积上述多个高斯滤波器而生成。

IH3(x，y)＝((IH2(x，y)*h3(k，l))*h5(k，l))*h7(k，l))··· 式(10)

在右边的滤波处理中，高像素观察记录图像IH2的图像尺寸始终为ISX2×ISY2。

这里，组合了3×3的高斯滤波器h3(k，l)和5×5的高斯滤波器h5(k，l)时的频率特性已经充分抑制了大约64(＝M/2)以上的频带成分。下述式(11)表示上述式(10)中的5×5的高斯滤波器h5(k，l)的滤波结束的时刻的、中途图像IH2b (x，y)。

IH2b(x，y)＝(IH2(x，y)*h3(k，l))*h5(k，l)···式(11)

即使将该中途图像IH2b(x，y)的尺寸缩小为1/2，也不产生混叠失真。

能够通过该缩小处理削减存储区域。并且能够削减滤波的计算量，能够使滤波处理高速化。对于利用双三次法等被缩小为1/2的中途图像IH2b’，不应用上述式(10) 中的7×7的高斯滤波器h7(k，l)，而应用其它的频带抑制滤波器ht(k，l)。由此也能够得到高像素索引图像IH3(x，y)。

频带抑制滤波器ht(k，l)采用了具有比7×7的高斯滤波器h7(k，l)平缓的频率特性的滤波器。由于将中途图像IH2b缩小为1/2，因此虽然理想的是应使用3.5×3.5 的高斯滤波器h3.5(k，l)，但难以实现。因此，使用3×3的高斯滤波器(k，l)或5×5 的高斯滤波器h5(k，l)。在应用了5×5的高斯滤波器h5(k，l)的情况下，与上述式(10)的滤波处理相比，频带抑制效果稍强，但能够通过增大上述式(9)的清晰度校正处理的λ来进行校正。

另外，在上述例子中，示出将中途图像IH2b(x，y)的尺寸缩小为1/2的例子，但还能够缩小为1/2以外的比例。例如，在缩小前的中途图像IH2b(x，y)中充分抑制了大约86(＝2M/3)以上的频带成分的情况下，能够将中途图像IH2b(x，y)的尺寸缩小为2/3。该情况下，能够将此后应用的高斯滤波器的尺寸设为2/3。

如以上所说明那样，在利用多个高斯滤波器进行卷积运算的中途，能够通过缩小图像来减少运算量，能够节省资源地进行高速运算。

(变形例2)

接着，说明如下例子：在计算拍摄图像I1和观察记录图像I2中的最高频率fn 时，考虑摄像元件的像素数以外的光学设计以及系统整体的MTF(Modulation TransferFunction：调制传递函数)。在实际的内窥镜系统中，除了摄像元件的像素数以外，由于以下的因素，拍摄图像I1和观察记录图像I2中的最高频率fn受到影响。

作为对最高频率fn产生影响的因素，有包含内窥镜的镜头的光学设计。通常摄像元件的最高分辨率与景深的宽度处于折衷的关系。例如，如果优先考虑景深来进行设计，则不再产生与摄像元件的最大分辨率对应的高频率成分。优先考虑景深的设计是指设计成能够在与对象之间的远近距离的较宽范围内进行观察。即，是指景深较深的设计。

各种图像处理主要在照相机控制单元内部执行。在这些图像处理中，噪声抑制处理或强调处理等有时对包含内窥镜和照相机控制单元的系统整体的MTF产生影响。此外，还可能产生电信号劣化。这些也是对最高频率fn产生影响的因素。

图9是示出相对于观察记录图像I2的生成的、包含内窥镜和照相机控制单元在内的系统整体的MTF的频率响应的一例的图。在该例中，在空间频率为112的时刻，频率响应为0。例如，即便使用水平方向的像素数ISX1＝垂直方向的像素数ISY1＝800 的高像素摄像元件，实质的最大频率成分也成为800×(112/128)＝700。即，与水平方向的像素数ISX1＝垂直方向的像素数ISY1＝700的摄像元件的最大频率成分相同。

以下，说明考虑到这些因素的情况下的、高像素索引图像IH3的生成处理。高像素拍摄图像IH1、高像素观察记录图像IH2和高像素索引图像IH3的各图像尺寸如上述图2所示。在上述式(3)的右边代入考虑到系统整体的MTF的数值时，成为(160/ (800×(112/128))×128)×(1000/(800×(112/118)))。对其求解的话，高像素观察记录图像IH2中的进行比例转换后的最高频率fns＝41.8。

图10是对图8追加了h3(k，l)*h5(k，l)*h5(k，l)的滤波器的频率响应的图。在最高频率fns＝41.8的情况下，恰当的是不使用h3(k，l)*h5(k，l)*h7(k， l)的滤波器，而使用h3(k，l)*h5(k，l)*h5(k，l)的滤波器。

由此，可以实施如下的频带抑制处理：除了基于摄像元件的像素数(换言之为最大分辨率)的最高频率以外，还考虑了光学和电的系统整体的MTF。例如，在系统的MTF由于光学设计不同的内窥镜的机型、或照相机控制单元的设定状态而变化的情况下，通过按照每个该机型或设定状态来应用恰当的频带抑制处理，能够生成灵活且高图像质量的缩小图像。

另外，在频率响应低于1的频率特性的过渡频带中，虽然产生了频率成分的劣化(即衰减)，但对于该劣化，能够通过使用上述式(8)和式(9)说明的清晰度校正处理进行校正。

以下，说明安装有基于以上见解的索引图像生成功能的医用图像管理系统。

图11是示出本发明实施方式的医用图像管理系统500的结构的图。本实施方式的医用图像管理系统500是主要用于管理由内窥镜50拍摄的图像的系统。医用图像管理系统500具有内窥镜系统100、图像归档装置200、终端装置300，它们经由通信线路400相互连接。在本实施方式中，作为通信线路400，设想为有线LAN。虽然在图11中仅描绘出一个内窥镜系统100，但也可以是多个内窥镜系统100与通信线路400连接的形式。通常，在大型医院中，导入了多个内窥镜系统100。

内窥镜系统100具有照相机控制单元10、光源装置30、显示装置40和内窥镜 50。内窥镜50被插入到患者的体腔内进行使用。内窥镜50拍摄体腔内，并向照相机控制单元10进行输出。

内窥镜50有各种类别。具体而言，按照部位不同，有上消化道用镜体、下消化道用镜体、十二指肠用镜体、支气管用镜体等。并且按照用途或特征不同，对这各个镜体进一步进行细分。例如，上消化道镜体包含通用镜体、细直径镜体、经鼻镜体、光学放大镜体、处置用镜体等。并且还存在利用超声波的超声波镜体。而且还存在胶囊状的胶囊内窥镜。

照相机控制单元10接收从内窥镜50发送的图像信号，并对该图像信号进行处理。之后将叙述照相机控制单元10的具体结构和动作。光源装置30向内窥镜50内送入光。显示装置40根据从照相机控制单元10输入的影像信号，显示影像。例如，实时地显示由内窥镜50拍摄的图像。另外，虽然在图11中未描绘出，但内窥镜系统100 也可以包含打印装置或记录装置。

图12是示出图11的内窥镜50和照相机控制单元10的内部结构的图。内窥镜 50包含摄像元件51和信号处理部52。摄像元件51将入射光转换为电信号。信号处理部52对由摄像元件51进行光电转换后的图像信号实施A/D转换、噪声去除等信号处理，并将其输出到照相机控制单元10。

照相机控制单元10具有控制部11、存储部17和通信部18。控制部11包含镜体标签取得部12和图像处理部13。关于控制部11内的功能块，仅描绘出与上述索引图像生成功能相关联的功能。控制部11的功能能够仅通过硬件资源、或硬件资源和软件资源的协作来实现。作为硬件资源，能够利用CPU、FPGA(Field Programmable Gate Array：现场可编程门阵列)、其它的LSI。作为软件资源，能够利用从存储部17 读出的程序。存储部17包含ROM、RAM，存储有在控制部11中使用的程序和数据。

在照相机控制单元10上安装有内窥镜50时，镜体标签取得部12从内窥镜50 取得标签信息。如上所述，在本实施方式的索引图像生成方法中，使用摄像元件的像素数。在该标签信息中包含摄像元件51的水平和垂直方向的有效像素数的情况下，能够使用该像素数。

另外，在能够从内窥镜50取得的标签信息中不包含摄像元件51的像素数的设计中，需要预先准备将该标签信息所包含的型号、和在该型号的内窥镜中使用的摄像元件的像素数关联起来的表。此外，在由摄像元件51拍摄的拍摄图像中记录有拍摄图像的水平和垂直方向的像素数来作为标签信息的情况下，能够使用该像素数。镜体标签取得部12将摄像元件51的像素数传递给图像处理部13。

图像处理部13对使用内窥镜50拍摄的拍摄图像，应用至少包含放大处理的图像处理。在图12所示的例子中，图像处理部13包含图像放大部14、伽马校正部15和颜色校正部16。

图像放大部14对从内窥镜50发送的拍摄图像进行放大而生成观察记录图像。此时，根据从镜体标签取得部12传递的摄像元件51的像素数、和应生成的观察记录图像的像素数的比率，设定放大率。

伽马校正部15对所生成的观察记录图像实施伽马校正。颜色校正部16对所生成的观察记录图像实施颜色校正。例如，可以进行强调红色的校正。另外，伽马校正和颜色校正是图像处理的一例，可以执行其它效果处理。例如，可以执行明亮度调整、轮廓强调、对比度调整等。另外，可以对放大处理前的拍摄图像应用这些图像处理。在生成观察记录图像后，拍摄图像基本不需要，因此被舍弃。

通信部18进行用于将照相机控制单元10连接到通信线路400的通信控制。控制部11经由通信线路400，将所生成的观察记录图像发送到图像归档装置200进行归档。控制部11还经由通信线路400，将摄像元件51的像素数发送到图像归档装置200。

图13是示出图11的图像归档装置200的内部结构的图。图像归档装置200例如由服务器构成。图像归档装置200具有通信部21、控制部22、存储部28和图像保存部29。

通信部21进行用于将图像归档装置200连接到通信线路400的通信控制。例如，接收从内窥镜系统100发送的观察记录图像和摄像元件51的像素数，并输出到控制部22。并且，根据来自终端装置300的取得请求，将控制部22从图像保存部29读出的观察记录图像和/或索引图像发送到终端装置300。图像保存部29具有硬盘等大容量记录装置，保存包含观察记录图像的医用图像。另外，在生成了医用图像的索引图像的情况下，还保存该索引图像。

控制部22包含图像处理部23。关于控制部22内的功能块，仅描绘出与上述索引图像生成功能相关联的功能。控制部22的功能能够仅通过硬件资源、或硬件资源和软件资源的协作来实现。作为硬件资源，能够利用CPU、FPGA、其它的LSI。作为软件资源，能够利用从存储部28读出的程序。存储部28包含ROM、RAM，存储有在控制部22中使用的程序和数据。

图像处理部23包含滤波器设定部24、滤波处理部25、图像缩小部26和清晰度校正部27。滤波处理部25对从内窥镜系统100接收到的观察记录图像，应用抑制高频成分的滤波器。该滤波器使用上述低通型滤波器。图像缩小部26对应用该低通型滤波器后的观察记录图像，应用缩小处理而生成索引图像。清晰度校正部27对所生成的索引图像，应用上述使用了清晰度校正滤波器的清晰度校正处理。

滤波器设定部24至少根据与能够在拍摄图像中再现的最高频率成分相关的信息、和与应该在索引图像中再现的最高频率成分相关的信息，变更在滤波处理部25 中使用的低通型滤波器的特性。与能够在该拍摄图像中再现的最高频率成分相关的信息可以是基于内窥镜50所包含的摄像元件51的像素数的信息。此外，与应该在索引图像中再现的最高频率成分相关的信息可以是基于索引图像的像素数的信息。

该情况下，滤波器设定部24根据拍摄图像的水平/垂直方向的像素数与索引图像的水平/垂直方向的像素数的比率，变更该低通型滤波器的特性。更具体而言，滤波器设定部24根据(1)拍摄图像的水平/垂直方向的像素数与索引图像的水平/垂直方向的像素数的比率、(2)图像的最大空间频率、和(3)拍摄图像的水平/垂直方向的像素数与观察记录图像的水平/垂直方向的像素数的比率，导出不使索引图像产生混叠失真的最高频率。该最高频率与上述式(3)示出的进行比例转换后的最高频率fns 对应。另外，在导出该最高频率时，可以考虑包含内窥镜50和照相机控制单元10 在内的系统整体的MTF。

滤波器设定部24以抑制超过该最高频率的频率成分的方式，设定上述低通型滤波器。如上述图8所示，该低通型滤波器可以通过基本的高斯滤波器的组合来实现。该情况下，滤波器设定部24对观察记录图像执行多次滤波运算(换言之，卷积运算)。

滤波处理部25包含图像缩小部25a，图像缩小部25a可以在多次滤波运算的中途，以不产生混叠失真的范围的缩小率，缩小至少应用了一次滤波运算的观察记录图像。通过如上述那样，在多次滤波运算的中途缩小中途图像，削减之后的滤波运算的运算量。

设计者能够将与以上已说明的针对上述最高频率的频带抑制的频率特性的选择、基本的滤波器的组合、频带抑制处理中途的缩小处理和清晰度校正处理相关的设定信息预先记述到软件程序中。照相机控制单元10所安装的内窥镜50的种类众多，而作为摄像元件51的种类，例如是10种左右等、一定程度的数量。观察记录图像和索引图像的尺寸分别是1种～几种。因此，上述最高频率的种类不会那么多，预先规定针对该最高频率的所有种类的滤波策略是比较容易的。另外，可以构成为不将针对各最高频率的滤波策略记述到软件程序中，而记述到表中，由软件程序进行参照。

图11的终端装置300例如由个人计算机(PC)构成。终端装置300主要被用于医生输入报告、确认所拍摄的医用图像等。终端装置300能够取得图像归档装置200 所记录的观察记录图像的索引图像，并进行一览显示。

图14是示出本发明实施方式的索引图像生成方法的流程图。照相机控制单元10的镜体标签取得部12从内窥镜50取得摄像元件51的像素数(S10)。照相机控制单元10的图像处理部13从内窥镜50取得由摄像元件51拍摄的拍摄图像(S11)。图像放大部14对所取得的拍摄图像进行放大而生成观察记录图像(S12)。所生成的观察记录图像被发送到图像归档装置200。

图像归档装置200的滤波处理部25对观察记录图像执行频带抑制处理(S13)。图像缩小部26将进行频带抑制后的观察记录图像缩小而生成索引图像(S14)。清晰度校正部27对所生成的索引图像执行清晰度校正处理，生成最终的索引图像(S15)。

图15示出图14的流程图的步骤S13的子例程。滤波器设定部24根据摄像元件 51的像素数等，确定观察记录图像中的最高频率(S131)。滤波器设定部24根据确定出的最高频率，决定针对观察记录图像的滤波策略(S132)，并根据所决定的滤波策略，对观察记录图像执行滤波处理(S133)。

如以上所说明那样，根据本实施方式，能够恰当地设定应用于观察记录图像的低通型滤波器。因此，能够防止混叠失真、和过度的平滑化，能够根据观察记录图像生成高品质的索引图像。

此外，在作为频带抑制处理而应用了多级滤波器的过程中，以不产生混叠失真的范围的倍率，缩小对高频带成分得到了抑制效果的处理中途阶段的图像，由此能够削减之后的计算量。通过计算量的削减，能够节约存储空间，能够缩短计算时间。另外，处理中途阶段的缩小处理根据滤波器的应用次数、或通过滤波器应用而被抑制的频带来决定。

以上，根据实施方式说明了本发明。该实施方式是例示性的，本领域技术人员能理解到这各个结构要素以及各处理进程的组合能够采用各种变形例，并且这样的变形例也处于本发明的范围内。

在上述实施方式中，说明了将根据观察记录图像生成索引图像的功能安装到图像归档装置200的图像处理部23的例子。关于该点，也可以将该功能设置于照相机控制单元10的图像处理部13。该情况下，能够由照相机控制单元10根据拍摄图像生成观察记录图像和索引图像两者。并且，也可以将根据观察记录图像生成索引图像的功能安装到与照相机控制单元10或通信线路400连接的独立的图像处理装置。

并且，在上述实施方式中，说明了使用高斯滤波器来作为低通型滤波器的例子，但也可以使用平均值滤波器等其它滤波器。

标号说明

100：内窥镜系统；200：图像归档装置；300：终端装置；400：通信线路；500：医用图像管理系统；10：照相机控制单元；30：光源装置；40：显示装置；50：内窥镜；51：摄像元件；52：信号处理部；11：控制部；12：镜体标签取得部；13：图像处理部；14：图像放大部；15：伽马校正部；16：颜色校正部；17：存储部；18、21：通信部；22：控制部；23：图像处理部；24：滤波器设定部；25：滤波处理部；25a、 26：图像缩小部；27：清晰度校正部；28：存储部；29：图像保存部。

产业上的可利用性

本发明能够用于内窥镜部门系统。

Claims

1.一种图像处理装置，其特征在于，具有：

滤波处理部，其对第2图像应用限制图像的空间频率的高频成分的滤波器，所述第2图像是对使用内窥镜拍摄的第1图像的图像尺寸进行放大而生成的；

图像缩小部，其将应用所述滤波器后的第2图像缩小为预先决定的图像尺寸而生成第3图像；

存储部，其存储用于决定所述滤波器的频率特性的第1滤波系数和第2滤波系数；以及

滤波器设定部，其根据所述第1图像的图像尺寸和所述第3图像的图像尺寸，设定所述滤波器的频带限制的最高频率，并且根据所述最高频率，设定所述第1滤波系数和所述第2滤波系数的组合、和/或所述第1滤波系数和所述第2滤波系数的应用次数。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述滤波器设定部根据所述第1图像的水平和垂直方向中的至少一方的像素数与所述第3图像的水平和垂直方向中的至少一方的像素数之间的比率，设定所述滤波器的频带限制的最高频率。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述滤波器设定部根据所述第1图像的水平和垂直方向中的至少一方的像素数与所述第3图像的水平和垂直方向中的至少一方的像素数之间的比率、图像的最大空间频率、以及所述第1图像的水平和垂直方向中的至少一方的像素数与所述第2图像的水平和垂直方向中的至少一方的像素数之间的比率，导出不使所述第3图像产生混叠失真的最高频率，并将该最高频率设定为所述滤波器的频带限制的最高频率。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述滤波处理部在多次滤波运算的中途，以不产生混叠失真的范围的缩小率，缩小至少执行了一次滤波运算后的第2图像。