CN103889305A - 图像处理装置、内窥镜装置、图像处理方法及图像处理程序 - Google Patents

Abstract

图像处理装置包含评价值计算部（321）、估计噪声量取得部（322）、判定部（324）和降噪处理部（325）。评价值计算部（321）计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态。估计噪声量取得部（322）取得拍摄图像的估计噪声量。判定部（324）根据评价值和估计噪声量进行是否为静止状态的判定。降噪处理部（325）在判定为是静止状态的情况下，对拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是静止状态的情况下，对拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

Description

图像处理装置、内窥镜装置、图像处理方法及图像处理程序

技术领域

本发明涉及图像处理装置、内窥镜装置、图像处理方法以及图像处理程序等。

背景技术

降噪处理（以下称作NR处理）中大致存在以下两个处理，即在处理帧内进行NR处理的空间方向NR处理、和使用处理帧和之前帧进行NR处理的时间方向NR处理。

现有技术文献

专利文献

专利文献1：日本特开平6-47036号公报

发明内容

发明所要解决的问题

在空间方向NR处理中，图像的高频成分处于衰减的趋势，在时间方向NR处理中，在被摄体是运动物体的情况下容易残留余像。因此，存在以下要求：想通过在图像是静止状态的情况下自适应性地选择空间方向NR处理而实现高性能的NR处理。

但是，存在需要高精度地进行图像是否为静止状态的判定的问题。

例如在专利文献1中公开了如下方法：判别图像的静止状态和动作状态，并根据其判别结果切换时间方向NR处理和空间方向NR处理。静止状态和动作状态的判别使用在帧间计算出的差值，在该差值小于阈值的情况下判别为静止状态，在大于阈值的情况下判别为动作状态。

但是，在帧间计算出的差值有依存于图像所包含的噪声量而发生变化的特征。在专利文献1中，阈值是固定值，用固定值对依存于噪声量的差值进行判别，因此难以高精度地判别静止状态和动作状态。此外，在专利文献1中未对依存于噪声量的差值记载适当的阈值。

根据本发明的几个方式，可提供能够高精度地判定图像是否为静止状态的图像处理装置、内窥镜装置、图像处理方法以及图像处理程序等。

用于解决问题的手段

本发明的一个方式涉及一种图像处理装置，包括：评价值计算部，其计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态；估计噪声量取得部，其取得所述拍摄图像的估计噪声量；判定部，其根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及降噪处理部，在判定为是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

根据本发明的一个方式，取得拍摄图像的估计噪声量，并根据评价值和估计噪声量，进行拍摄图像上的被摄体在帧间是否为静止状态的判定。根据判定结果，对拍摄图像进行第1降噪处理或第2降噪处理。由此，能够高精度地判定图像是否为静止状态。

本发明的另一方式涉及一种内窥镜装置，其包括：摄像部，其对拍摄图像进行拍摄；评价值计算部，其计算评价值，该评价值用于判定所述拍摄图像上的被摄体在帧间是否为静止状态；估计噪声量取得部，其取得所述拍摄图像的估计噪声量；判定部，其根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及降噪处理部，在判定为是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

本发明的又一方式涉及一种图像处理方法，其中，计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态，取得所述拍摄图像的估计噪声量，根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定，在判定为是所述静止状态的情况下，对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

本发明的又一方式涉及一种图像处理程序，使计算机执行以下步骤：计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态；取得所述拍摄图像的估计噪声量；根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及在判定为所述静止状态的情况下，对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

附图说明

图1是第1实施方式中的内窥镜系统的结构例。

图2是摄像元件的滤色器的排列结构例。

图3是摄像元件的滤色器的透射率特性例。

图4是第1实施方式中的降噪部的详细结构例。

图5是第1实施方式中的降噪处理的流程图。

图6的（A）是图像信号所包含的结构成分的例子。图6的（B）是图像信号所包含的噪声成分的例子。

图7的（A）～图7的（C）是关于帧间差值mSAD的说明图。

图8的（A）～图8的（C）是关于帧间差值mSAD的说明图。

图9是图像中的噪声量的特性例。

图10是第1实施方式中的降噪处理的第2流程图。

图11是第2实施方式中的内窥镜系统的结构例。

图12是关于前方视野区域、侧方视野区域的说明图。

图13是关于区域判定处理的说明图。

图14是第2实施方式中的降噪部的详细结构例。

图15是第2实施方式中的降噪处理的流程图。

图16是第3实施方式中的内窥镜系统的结构例。

图17是窄带滤波器的透射率特性例。

图18是第3实施方式中的降噪部的详细结构例。

图19是第3实施方式中的降噪处理的流程图。

图20是第4实施方式中的内窥镜系统的结构例。

图21是第4实施方式中的降噪部的详细结构例。

具体实施方式

下面对实施方式进行说明。另外，以下说明的本实施方式并不是对权利要求书中记载的本发明的内容进行不恰当的限定的内容。另外，在本实施方式中说明的全部结构不一定是本发明的必要技术特征。

1.本实施方式的概要

首先，说明本实施方式进行的NR处理（降噪处理）的概要。另外以下，静止状态表示摄像部与被摄体的相对位置关系在时间上不发生变化的状态。此外，动作状态表示摄像部与被摄体的相对位置关系在时间上发生变化的状态。

如上所述，NR处理中存在空间方向NR处理和时间方向NR处理。在空间方向NR处理中，通过使用了作为NR处理对象的像素（处理对象像素）、与其周边像素的加权平均处理来减少噪声。在空间方向NR处理中，由于进行与周边像素的加权平均处理，因此有原图像的高频成分衰减的副作用。

在时间方向NR处理中，通过使用了作为NR处理对象的帧（处理帧）、和在与该处理帧不同的时间取得的帧（之前帧）的加权平均处理来减少噪声。加权平均处理中仅使用了处理帧的处理对象像素、和之前帧中与处理对象像素相同坐标的像素。因此，在静止状态下，有能够保持原图像的高频成分的优点。另一方面，在图像中被摄体正在运动的动作状态下，有产生余像的副作用。

根据以上的特性，能够通过自适应性地选择NR处理，实现高性能的NR处理。具体而言，在静止状态下选择时间方向NR处理，在动作状态下选择空间方向NR处理，由此能够实现在静止状态中在保持高频成分的状态下仅减少噪声成分的NR处理。

但是，如上所述，存在图像的噪声的影响，因此有难以高精度地进行静止状态和动作状态的判别的问题。

因此，在本实施方式中，如之后将在图5等叙述的那样，取得与像素值对应的估计噪声量N，在图像的帧间差值mSAD小于等于估计噪声量N（包含该值）的情况下判定为静止状态，进行时间方向的NR处理即第一NR处理。由此，能够高精度地判定在图像中被摄体是否静止，从而在静止状态的情况下能够得到高精细的图像。在不是静止状态的情况下，能够通过进行至少包含空间方向的NR处理的第二NR处理，抑制余像。

2.第1实施方式

2.1.内窥镜系统

接着，说明本实施方式的详细情况。图1示出第1实施方式中的内窥镜系统的结构例。内窥镜系统（内窥镜装置）包含光源部100、摄像部200、控制装置300、显示部400和外部I/F部500。控制装置300包含插值处理部310、降噪部320、帧存储器330、显示图像生成部340和控制部390。

光源部100包含产生白色光的白色光源110和用于将该白色光会聚到光纤210的透镜120。

摄像部200例如形成为细长且能够弯曲，以使得能够插入体腔内。此外，根据要观察的部位，使用不同的摄像部，因此摄像部200形成能够相对于控制装置300进行拆装的结构。另外在以下的说明中，将摄像部200适当称作镜体。

摄像部200包含：用于引导由光源部100会聚的光的光纤210；以及使通过该光纤210引导的光扩散并照射到被摄体的照明透镜220。并且摄像部200包含：会聚来自被摄体的反射光的聚光镜头230；用于检测由聚光镜头230会聚的反射光的摄像元件240；存储器250；以及驱动聚光镜头230的变焦镜头的镜头驱动部260。

存储器250与控制部390连接。镜头驱动部260与控制部390双向连接。

如图2所示，摄像元件240是具有拜尔排列的滤色器的摄像元件。滤色器是r滤色器、g滤色器、b滤色器这3种。如图3所示，r滤色器具有使580～700nm的光透射的特征，g滤色器具有使480～600nm的光透射的特征，b滤色器具有使390～500nm的光透射的特征。

存储器250中保持有镜体固有的识别编号。控制部390能够通过参照存储器250所保持的识别编号，识别所连接的镜体的种类。

聚光镜头230能够在θ_MIN～θ_MAX［度］的范围内设定视场角θ。在本实施方式中，将视场角θ＝θ_MAX的状态设为通常观察状态、视场角θ小于θ_MAX的状态设为放大观察状态。该视场角θ通过由用户从外部I/F部500设定任意的值来进行设定。即，在由用户设定了视场角θ的情况下，将所设定的视场角θ输入到控制部390，控制部390（狭义上指视场角控制部）将视场角θ发送到镜头驱动部260。并且，镜头驱动部260通过驱动聚光镜头230中的变焦镜头，将摄像部200的视场角设定为期望的视场角θ。此外，控制部390将所设定的视场角θ输出到降噪部320。

外部I/F部500是用于供用户对内窥镜装置进行输入等的接口。例如，外部I/F部500构成为包含用于接通/断开电源的电源开关、和用于切换拍摄模式和其他各种模式的模式切换按钮等。外部I/F部500将所输入的信息输出到控制部390。

控制装置300进行内窥镜装置的各部的控制、和对拍摄图像的图像处理等。插值处理部310与降噪部320连接。降噪部320与显示图像生成部340连接。此外，降噪部320与帧存储器330双向连接。显示图像生成部340与显示部400连接。控制部390与插值处理部310、降噪部320、帧存储器330以及显示图像生成部340连接，并进行它们的控制。

插值处理部310对由摄像元件240取得的图像进行插值处理。如上所述，摄像元件240具有拜尔排列，因此由摄像元件240取得的图像的各像素成为具有R、G、B信号中的任意一个颜色的信号值、而欠缺其他两个颜色的信号值的状态。插值处理部310通过对该图像的各像素进行插值处理，对所欠缺的信号值进行插值，从而生成在各像素中具有R、G、B信号的全部信号值的图像。作为插值处理，例如可以使用公知的双三次插值处理。另外以下，将插值处理后的图像称作RGB图像。插值处理部310将所生成的RGB图像输出到降噪部320。

降噪部320对由插值处理部310输出的RGB图像进行NR处理。具体而言，降噪部320在RGB图像的各像素中判别静止状态和动作状态，并根据其判别结果自适应性地切换NR处理。即，降噪部320在判别为静止状态的情况下，选择能够保持高频成分的时间方向NR处理，在判别为动作状态的情况下，选择空间方向NR处理。由此，在静止状态中能够在保持了高频成分的状态下仅减少噪声，从而能够实现高性能的NR处理。关于降噪部320，具体将后述。另外以下，将NR处理后的图像称作NR图像（降噪图像）。

显示图像生成部340对由降噪部320输出的NR图像，实施例如已有的白平衡、颜色转换处理和灰度转换处理等，从而生成显示图像。显示图像生成部340将所生成的显示图像输出到显示部400。显示部400例如由液晶显示装置等显示装置构成。

2.2.降噪处理

接着，详细说明降噪部320。图4示出第1实施方式中的降噪部320的详细结构例。降噪部320包含评价值计算部321、估计噪声量取得部322、查询表323、判定部324、降噪处理部325和视场角信息取得部326。

图5示出第1实施方式中的降噪处理的流程图。在开始该处理后，如步骤S1所示，评价值计算部321使用从插值处理部310输出的RGB图像、和由帧存储器330所保持的之前图像，计算差值平均值mSAD。之前图像是指在RGB图像的前1帧的时刻从降噪部320输出的NR图像。

在将作为NR处理对象的像素即关注像素的坐标设为（x，y）时，差值平均值mSAD（帧间差值）使用下式（1）进行计算。评价值计算部321将下式（1）的SAD（m，n）成为最小的（m，n）的值输出到降噪处理部325。另外，以下说明关于G信号的处理，但关于R信号、B信号也实施相同的处理。

【数式1】

$\begin{array}{c}\mathrm{mSAD}=\min \left\{\begin{array}{ccc}\mathrm{SAD}(-1,-1),& \mathrm{SAD}(0,-1),& \mathrm{SAD}(1,-1),\\ \mathrm{SAD}(-\mathrm{1,0}),& \mathrm{SAD}\left(\mathrm{0,0}\right),& \mathrm{SAD}\left(\mathrm{1,0}\right),\\ \mathrm{SAD}(-\mathrm{1,1}),& \mathrm{SAD}\left(\mathrm{0,1}\right),& \mathrm{SAD}\left(\mathrm{1,1}\right),\end{array}\right\},\\ \mathrm{SAD}(m,n)=\frac{1}{{(2k+1)}^2}\underset{j=-k}{\overset{k}{\mathrm{\Σ}}}\underset{i=-k}{\overset{k}{\mathrm{\Σ}}}\left|\right|F_{G\_\mathrm{cru}}(x+i,y+j)-F_{G\_\mathrm{pre}}(x+i+m,y+j+n)\left|\right|\end{array}---\left(1\right)$

这里，在上式（1）中，min（）表示取得括号内的值的最小值的处理。此外，m＝－1、0、1，n＝－1、0、1。此外，F_G＿cur（x，y）是RGB图像的坐标（x，y）处的G信号值，F_G＿pre（x，y）是之前图像的坐标（x，y）处的G信号值。此外，k是自然数，（2k＋1）相当于计算差值平均值mSAD时的内核大小。k能够预先设定固定的值，并且还可以采用由用户从外部I/F部500设定任意值的结构。此外，||A||表示取得实数A的绝对值的处理。

对静止状态和动作状态的各个状态中的、上述差值平均值mSAD的特征进行说明。以下为了简单说明，将图像设为一维的信号来进行处理。此外，设图像信号的成分由图6的（A）所示的结构成分、和图6的（B）所示的噪声成分构成。

考虑在某个时刻t取得了图7的（A）所示的图像，在其紧前面的时刻t－1取得了图7的（B）所示的图像的情况。该情况下，在时刻t和时刻t－1，结构成分的位置不发生变化（相当于静止状态）。因此，当求出时刻t的图像、与时刻t－1的图像的差值（差值的绝对值）时，如图7的（C）所示，差值中仅包含噪声成分。

另一方面，考虑在某个时刻t取得了图8的（A）所示的图像，在其紧前面的时刻t－1取得了图8的（B）所示的图像的情况。图8的（B）所示的d相当于帧间的被摄体的运动量（相当于动作状态）。该情况下，当求出时刻t的图像、与时刻t－1的图像的差值时，如图8的（C）所示，差值中包含噪声成分和结构成分两方。

因此，动作状态下的差值平均值mSAD有比静止状态下的差值平均值mSAD大的特征。因此，能够通过将静止状态下的差值平均值mSAD（＝噪声量）设为阈值，进行静止状态和动作状态的判别。

但是，如图9所示，噪声量一般依存于图像信号值而发生变化。即，图像信号值越大，噪声量越增加。因此，图7的（C）所示的静止状态下的差值平均值mSAD也依存于图像信号值而发生变化。在将用于判别静止状态和动作状态的阈值设为了固定值的情况下，由于该mSAD的噪声依存性，难以高精度地判别静止状态和动作状态。

因此，在本实施方式中，将图9所示的噪声量的特性作为表（噪声量表）来保持，通过参照表取得与各像素的信号值对应的噪声量N。并且，根据该噪声量N判别静止状态和动作状态。由此能够进行高精度的判别。

这里，在上式（1）中说明的（m，n）相当于帧间的运动矢量，该运动矢量的搜索范围是±1像素。在上式（1）中，在搜索范围中选择最小的SAD作为mSAD。因此，即使在RGB图像与之前图像在帧间不严格静止、而移动±1像素左右的情况下，也如之后在步骤S3中叙述的那样选择时间方向NR处理。另一方面，在运动量m、n大于1像素的情况下，无法计算正确的运动矢量（m，n），因此该情况下如在步骤S3中说明那样选择空间方向NR处理。

即使被摄体是静止的，在图像中也会存在微小的运动，因此在严格判定静止状态时，即使是事实上的静止状态也选择空间方向的NR处理，从而图像的结构成分减少。在该点上，通过使用上式（1），如果是±1像素的运动，则能够判定为静止状态，因此能够通过时间方向NR处理得到高分辨率的图像。

接着，如图5的步骤S2所示，估计噪声量取得部322取得噪声量N。即，在查询表323中，将在图9中说明的噪声量N的特性存储为噪声量表。估计噪声量取得部322通过参照查询表323取得与RGB图像的关注像素（处理对象的像素）的信号值对应的噪声量N。

另外，噪声量表根据所连接的镜体而不同。如上所述，在摄像部200的存储器250中保持有各镜体固有的识别编号，因此能够识别所连接的镜体。如上所述，控制部390取得存储器250所保持的识别编号，识别出所连接的镜体，并将该识别结果输出到降噪部320。并且，估计噪声量取得部322取得与镜体对应的噪声量表来取得噪声量N。

接着，如图5的步骤S3所示，判定部324使用在步骤S1中输出的差值平均值mSAD、和在步骤S2中输出的噪声量N，进行是静止状态还是动作状态的判别处理。具体而言，判定部324利用下式（2）进行判别处理。

【数式2】

如果  mSAD≤N             静止状态

                                   (2)

否则                      动作状态

然后，如步骤S4所示，降噪处理部325在步骤S3中判别为静止状态的情况下执行时间方向的NR处理（广义上是第1降噪处理）。另一方面，如步骤S5所示，降噪处理部325在步骤S3中判别为动作状态的情况下执行空间方向的NR处理（广义上是第2降噪处理）。另外，时间方向NR处理和空间方向NR处理的详细情况将后述。

进而，如步骤S6所示，检查是否对RGB图像的全部像素执行了NR处理。在对全部像素执行了NR处理的情况下，如步骤S7所示，降噪部320将NR图像输出到帧存储器330和显示图像生成部340，并结束处理。帧存储器330将从降噪部320输出的NR图像保持为之前图像。在没有对全部像素执行NR处理的情况下，执行步骤S1～步骤S6。

2.3.与观察状态对应的降噪处理

接着，说明根据是否为放大观察状态，变更用于判别静止状态和动作状态的阈值的方法。

图10示出第1实施方式中的降噪处理的第2流程图。另外，步骤S22、S24以外的步骤与图5的步骤S1～S7相同，因此适当省略说明。如步骤S22所示，视场角信息取得部326从控制部390取得摄像部200的视场角θ的信息。并且，判定部324判定视场角θ是否小于θ_MAX。

在视场角θ＝θ_MAX、即为通常观察状态的情况下，如步骤S23所示，使用上式（2）进行静止状态和动作状态的判别处理。另一方面，在视场角θ＜θ_MAX（θ≠θ_MAX）、即为放大观察状态的情况下，如步骤S24所示，使用下式（3）进行静止状态和动作状态的判别处理。

【数式3】

如果  mSAD≤Ca×N        静止状态

                                           (3)

否则                     动作状态

这里，在上式（3）中，将系数Ca设为大于1的实数。系数Ca可以预先设定为固定的值，并且还可以采用由用户从外部I/F部500设定任意值的结构。

在步骤S23、S24中判别为静止状态的情况下，如步骤S25所示，执行时间方向的NR处理。另一方面，在判别为动作状态的情况下，如步骤S26所示，执行空间方向的NR处理。

对本实施方式与观察状态之间的关系进行详细说明。内窥镜诊断中大致存在以下两个诊断，即搜索怀疑为病变的部位的筛选、和诊断通过筛选发现的部位是否为病变的细查。

在筛选时，医生一边对镜体进行操作（插入/拔出）一边进行诊断，因此具有被摄体在图像上较大程度运动（动作状态）的特征。因此，时间方向NR处理不会有效地发挥作用。此外，在筛选时，搜索具有发红色调和褪色色调的区域，因此具有比较低频率的频率成分成为对于诊断重要的信息的特征。因此，在筛选时利用降噪处理，即使高频成分稍微衰减，给诊断产生的影响也较小。根据以上情况，在筛选处理时，期望利用空间方向NR处理减少噪声。

另一方面，在细查时，医生在使镜体停止的状态下进行诊断，因此具有图像上的被摄体的运动量较小（静止状态）的特征。此外，在细查时，细微血管和粘膜结构等比较高频率的频率成分成为对于诊断重要的信息。因此，在运动量较小的细查时，期望使可保持高频成分的时间方向NR处理发挥作用。这样的细查大多在放大观察的状态下进行。

在本实施方式中，如在图5等中说明的那样，高精度地判别与细查对应的静止状态和与筛选对应的动作状态。并且，在细查时，能够通过选择时间方向NR处理，在保持了对于诊断重要的细微血管和粘膜结构的状态下仅减少噪声。此外，如在图10等中说明的那样，根据视场角θ变更判别处理的阈值，由此具有在用于细查的放大观察时，更容易（支配性）选择时间方向NR处理的优点。

根据以上的实施方式，能够自适应性地减少内窥镜图像的噪声，能够提供更适于诊断的图像。具体而言，在如细查时那样运动量较小的情况下，容易选择时间方向NR处理，因此能够保持在细查时比较重要的高频成分，并且仅减少噪声。

另一方面，在筛选时选择空间方向NR处理。该情况下，能够保持高对比度的边缘部的高频成分，但低对比度的边缘部的高频成分衰减。但是，在筛选时，发红色调和褪色色调等比较低频的信息变得重要，因此给诊断产生的影响较小。

2.4.时间方向NR处理、空间方向NR处理

接着，说明时间方向NR处理的详细情况。时间方向NR处理中采用了下式（4）。

【数式4】

$F_{G\_\mathrm{NR}}(x,y)=\frac{\mathrm{we}\_\mathrm{cur}\×F_{G\_\mathrm{cur}}(x,y)+\mathrm{we}\_\mathrm{pre}\×F_{G\_\mathrm{pre}}(x+m,y+n)}{\mathrm{we}\_\mathrm{cur}+\mathrm{we}\_\mathrm{pre}}---\left(4\right)$

这里，在上式（4）中，F_G＿NR（x，y）是NR图像的坐标（x，y）处的G信号值。此外，we＿cur、we＿pre是加权平均处理时的权重系数。通过增大we＿pre（与we＿cur相比），降噪量增大。we＿cur、we＿pre也可以预先设定为固定的值，并且还可以采用由用户从外部I/F部500设定任意值的结构。

继而，说明空间方向NR处理的详细情况。在本实施方式中，空间方向NR处理是使用了作为NR处理对象的像素（关注像素）及其周边的像素的加权平均处理。具体而言，使用下式（5）减少噪声。

【数式5】

$\begin{array}{c}\underset{j=-I}{\overset{I}{\mathrm{\Σ}}}\underset{i=-I}{\overset{I}{\mathrm{\Σ}}}\{\mathrm{we}\_\mathrm{diff}\_\mathrm{cur}(x+i,y+j)\×F_{G\_\mathrm{cur}}(x+i,y+j)\}+\\ F_{G\_\mathrm{NR}}(x,y)=\frac{\underset{j=-I}{\overset{I}{\mathrm{\Σ}}}\underset{i=-I}{\overset{I}{\mathrm{\Σ}}}\{\mathrm{we}\_\mathrm{diff}\_\mathrm{pre}(x+i,y+j)\×F_{G\_\mathrm{pre}}(x+i+m,y+j+n)\}}{\underset{j=-I}{\overset{I}{\mathrm{\Σ}}}\underset{i=-I}{\overset{I}{\mathrm{\Σ}}}\mathrm{we}\_\mathrm{diff}\_\mathrm{cur}(x+i,y+i)+}\\ \underset{j=-I}{\overset{I}{\mathrm{\Σ}}}\underset{i=-I}{\overset{I}{\mathrm{\Σ}}}\mathrm{we}\_\mathrm{diff}\_\mathrm{pre}(x+i,y+j)\end{array}---\left(5\right)$

这里，在上式（5）中，we＿diff＿cur（x＋i，y＋j）、we＿diff＿pre（x＋i，y＋j）相当于加权平均处理时的权重系数。如下式（6）所示，该系数由高斯分布给出。此外，I是自然数。此外，m、n是在上式（1）中被选择为mSAD的SAD（m，n）中的m、n。

【数式6】

$\begin{array}{c}\mathrm{we}\_\mathrm{diff}\_\mathrm{cur}(x+i,y+j)=\exp [-\frac{{\{F_{G\_\mathrm{cur}}(x+i,y+j)-F_{G\_\mathrm{cur}}(x,y)\}}^2}{2{\mathrm{\σ}}^2}]\\ \mathrm{we}\_\mathrm{diff}\_\mathrm{pre}(x+i,y+j)=\exp [-\frac{{\{F_{G\_\mathrm{pre}}(x+i+m,y+j+n)-F_{G\_\mathrm{cur}}(x,y)\}}^2}{{2\mathrm{\σ}}^2}]\end{array},---\left(6\right)$

如上式（6）所示，在本实施方式所采用的空间方向NR处理中，根据关注像素的信号值与周边像素的信号值之间的差值的大小，自适应性地设定权重系数。具体而言，在差值较大的情况下，加权平均处理时的权重减小。因此，边缘部等信号值急剧发生变化的区域的像素对加权平均处理没有贡献，因此具有能够保持边缘部并仅减少噪声成分的优点。

但是，在该空间方向NR处理中，根据关注像素与周边像素之间的信号值的差值来控制权重系数，因此具有降噪的程度（平滑化的强度）依存于图像所包含的噪声量的特征。具体而言，噪声越大，差值越大，因此权重系数变小，上式（5）的加权平均的贡献减小。因此，噪声越大，降噪的程度越减弱，从而变得无法减少噪声。

因此，在本实施方式中，根据在图5的步骤S2（或图10的步骤S21）中输出的噪声量N计算上式（6）的高斯分布的标准偏差σ。具体而言，使用下式（7）计算标准偏差σ。

【数式7】

σ=Cb×N   (7)

这里，在上式（7）中，系数Cb是正的实数。系数Cb可以预先设定固定的值，并且还可以采用由用户从外部I/F部500设定任意值的结构。

由此，能够通过根据噪声量N计算高斯分布的标准偏差σ，对噪声量实现自适应性的降噪处理。即，噪声量N越大标准偏差σ越大，因此即使在上式（6）中差值（例如F_G＿cur（x＋i，y＋j）－F_G＿cur（x，y））由于噪声而增大的情况下，与标准偏差σ不依存于噪声量N的情况相比，也能够增大权重系数。因此，即使在噪声较大的情况下也能够维持平滑化的强度。

另外，在以上的实施方式中，以对由插值处理部310输出的RGB图像实施NR处理的情况为例进行了说明，但本实施方式不限于此。例如，也可以对由摄像元件240输出的图像实施NR处理。该情况下，由于摄像元件240具有拜尔排列，因此摄像元件240输出的图像成为各像素仅具有R、G、B中的任意一种信号值的拜尔图像。因此，仅使用具有相同颜色的信号值的像素实施NR处理。例如在关注像素是G像素的情况下，使用关注像素和周边的G像素实施NR处理。

此外，在以上的实施方式中，作为取得噪声量N时的RGB图像的信号值，使用了RGB图像的关注像素的信号值，但本实施方式不限于此。例如，可以将RGB图像的关注像素及其周边像素的平均值作为信号值，从噪声量表取得与该信号值对应的噪声量N。

此外，在以上的实施方式中，以估计噪声量取得部322从查询表323取得噪声量N的情况为例进行了说明，但本实施方式不限于此。例如，估计噪声量取得部322也可以根据来自插值处理部310的RGB图像来估计（计算）噪声量N。

根据以上的实施方式，如图4所示，图像处理装置包含评价值计算部321、估计噪声量取得部322、判定部324和降噪处理部325。如在图5的S1中说明的那样，评价值计算部321计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态。如在S2中说明的那样，估计噪声量取得部322取得拍摄图像的估计噪声量N。如在S3中说明的那样，判定部324根据评价值和估计噪声量N进行是否为静止状态的判定。如在S4中说明的那样，降噪处理部325在判定为静止状态的情况下，对拍摄图像进行时间方向的降噪处理即第1降噪处理。如在S5中说明的那样，在判定为不是静止状态（动作状态）的情况下，对拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

具体而言，判定部324将估计噪声量N设为阈值，在帧间差值mSAD小于等于阈值的情况下判定为静止状态。

由此，能够高精度地判定图像是否为静止状态。即，如在图7的（A）～图8的（C）中说明的那样，帧间差值mSAD依存于噪声量而发生变化。在本实施方式中，使用估计噪声量N进行帧间差值mSAD是否符合静止状态的判定，因此能够不受噪声量影响而高精度地判定。

例如在本实施方式中，图像处理装置与插值处理部310、降噪部320以及帧存储器330对应。并且拍摄图像与来自插值处理部310的RGB图像对应。而且评价值与帧间差值mSAD对应。另外，本实施方式不限于此，评价值只要是使用多帧图像计算出、并且在图像上被摄体静止的状态和不静止的状态下为不同的值即可。

这里，时间方向的降噪处理是指减少拍摄图像的时间方向上的噪声的处理。具体而言，是将第1帧的图像中的处理对象像素、和第1帧之后的第2帧的图像中的处理对象像素设为时序的像素，并对该时序的像素进行平滑化的处理。例如在上式（4）中，第1帧的图像中的处理对象像素是F_G＿pre（x＋m，y＋n），第2帧的图像中的处理对象像素是F_G＿cur（x，y）。

此外，空间方向的降噪处理是指减少拍摄图像的空间方向上的噪声的处理。具体而言，是在1个帧的图像中，使用处理对象像素和处理对象像素附近的像素对处理对象像素进行平滑化的处理。例如在上式（5）中，1个帧的图像是F_{G_cur}，处理对象像素是（x，y），处理对象像素附近的像素是－I≤i≤I、－I≤j≤I时的（x＋i，y＋j）。

另外，至少包含空间方向的降噪处理的第2降噪处理至少包含仅针对1个帧的图像的空间方向降噪处理即可。例如上式（5）所示，也可以是使用了多帧的图像的降噪处理。

并且在本实施方式中，如在上式（1）中说明的那样，将在拍摄图像的第1帧F_{G ＿cur}中以处理对象像素（x，y）为中心的规定的尺寸（（2k＋1）²像素）的区域设为第1区域，在拍摄图像的第2帧F_G＿pre中以处理对象像素（x，y）为中心的规定的尺寸（（2k＋1）²像素）的区域设为第2区域。该情况下，评价值计算部321一边将第2区域相对于第1区域水平（沿着x轴的方向）和垂直（沿着y轴的方向）地以每次移动1个像素的方式依次移动（m、n＝－1、0、1），一边求出多个第1区域的像素值与第2区域的像素值的差值SAD（m，n）。评价值计算部321输出所求出的多个差值SAD（m，n）中的最小值min（SAD（m，n））作为帧间差值mSAD。判定部324在该最小值小于等于阈值N（包含该值）的情况下判定为静止状态。

由此，即使当被摄体在帧间移动1像素左右的情况下，也能够选择时间方向NR处理。即，说到静止状态，并非是被摄体在图像上完全不动，因此只要是可视作静止状态的范围内的运动，则选择时间方向NR处理，能够在不失去结构信息的情况下进行降噪处理。

并且在本实施方式中，如图4所示，图像处理装置包含取得对拍摄图像进行拍摄的摄像部200的视场角信息的视场角信息取得部326。判定部324根据视场角信息所表示的视场角θ，设定是否为静止状态的判定条件。

更具体而言，如图10的S20所示，评价值计算部321计算拍摄图像的帧间差值mSAD作为评价值。如S22、S23所示，判定部324在视场角θ大于等于阈值θ_MAX（包含该值）、且帧间差值mSAD小于等于估计噪声量N（包含该值）的情况下判定为静止状态。如S22、S24所示，判定部324在视场角θ小于阈值θ_MAX、且帧间差值mSAD小于等于对估计噪声量N乘以大于1的系数Ca而得到的值的情况下，判定为静止状态。

另外，在上述实施方式中将视场角判定的阈值设为了视场角调整范围θ_MIN～θ_MAX的上限θ_MAX，但本实施方式不限于此。例如可以将视场角调整范围θ_MIN～θ_MAX内的规定的视场角设为阈值。

由此，能够在摄像部200的视场角θ小于阈值的情况下判定为是放大观察状态。在判定为是放大观察状态的情况下，通过将阈值设定为大于估计噪声量N的CaN，相比通常观察状态的情况能够更容易地选择时间方向NR处理。由此，能够在放大观察状态下提高病变部等细微结构的视觉辨认性。

3.第2实施方式

3.1.内窥镜系统

对利用在摄像部200的前方视野和侧方视野不同的阈值来进行静止状态和动作状态的判别处理的第2实施方式进行说明。

图11示出第2实施方式中的内窥镜系统的结构例。内窥镜系统包含光源部100、摄像部200、控制装置300、显示部400和外部I/F部500。另外以下，对与第1实施方式中的内窥镜系统的结构要素相同的结构要素标注相同标号并适当省略说明。摄像部200和控制装置300以外的结构要素与第1实施方式相同，因此省略说明。

摄像部200包含光纤210、照明透镜220、聚光透镜270、摄像元件240和存储器250。关于光纤210、照明透镜220、摄像元件240和存储器250，与第1实施方式相同，因此省略说明。聚光透镜270从摄像部200的前端突出，能够观察前方视野和侧方视野。聚光透镜270例如由视野角为230°的物镜构成。

如图12所示，插值处理部310输出包含拍摄了前方视野的被摄体的前方视野区域、和拍摄了侧方视野的被摄体的侧方视野区域的RGB图像。RGB图像的中央部与前方视野对应，RGB图像的周边部与侧方视野对应。如图13所示，将该RGB图像的中心坐标设为（xo，yo）。以中心坐标（xo，yo）为基准，将处于半径R的范围内的区域设为前方视野区域、处于半径R的范围外的区域设为侧方视野区域。

控制装置300包含插值处理部310、降噪部320、帧存储器330、显示图像生成部340和控制部390。降噪部320以外的处理与第1实施方式相同，因此省略说明。

3.2.降噪处理

图14示出第2实施方式中的降噪部320的详细结构例。降噪部320包含评价值计算部321、估计噪声量取得部322、查询表323、判定部324、降噪处理部325和区域判定部327。

图15示出第2实施方式中的降噪处理的流程图。另外，步骤S42以外的步骤与在图5和图10中说明的步骤相同，因此适当省略说明。

如步骤S42所示，区域判定部327进行关注像素所属的区域的判别处理。即，区域判定部327通过下式（8）判定关注像素是属于前方视野区域、还是属于侧方视野区域。下式（8）的r通过下式（9）求出。在下式（9）中，（x，y）是关注像素的坐标。

【数式8】

如果  r≤R            前方区域

                                       (8)

否则                  侧方区域

【数式9】

$r=\sqrt{{(x-\mathrm{xo})}^2+{(y+\mathrm{yo})}^2}---\left(9\right)$

如步骤S43、S44所示，判定部324根据在步骤S40中输出的差值平均值mSAD、在步骤S41中输出的噪声量N、和从步骤S42输出的关注像素所属的区域的信息进行判别处理。具体而言，在判定为关注像素属于侧方视野区域的情况下，如步骤S44所示那样使用上式（2）进行是否为静止状态的判定。在判定为关注像素属于前方视野区域的情况下，如步骤S43所示那样使用上式（3）进行是否为静止状态的判定。

一般而言，在使用视野角宽的镜头而取得的图像中，图像在周边部发生较大程度的变形，因此具有失去周边部的高频成分的特征。因此，在本实施方式中取得的图像的侧方视野区域适合于筛选，但与变形少的前方视野区域相比，不适合于细查。

在本实施方式中，将前方视野区域中的阈值设定得比侧方视野区域中的阈值大来进行判别处理。由此，能够对于侧方区域使空间方向NR为支配性的处理，对于前方区域使时间方向NR为支配性的处理，从而能够实现自适应性的NR处理。即，对于考虑用作细查的前方区域，通过将阈值设为CaN（Ca＞1）而使得容易选择时间方向NR，由此在保持了高频成分的状态下仅减少噪声。另一方面，对于考虑用作筛选的侧方区域，通过将阈值设为N而使得容易选择空间方向NR，由此抑制余像。由此能够向医生提示更适合于诊断的图像。

根据上述实施方式，判定部324根据在拍摄图像中降噪处理的对象区域所属的区域，设定是否为静止状态的判定条件。

由此，在用于细微结构观察的区域中，能够容易地选择时间方向NR处理。由此，能够在该区域中提高病变部等细微结构的视觉辨认性。

具体而言，如图14所示，图像处理装置包含区域判定部327。如在图11、图12中说明的那样，摄像部200能够对摄像部200的前方视野和侧方视野进行拍摄。如在图13中说明的那样，区域判定部327进行对象区域属于拍摄图像中与前方视野对应的区域即前方视野区域、和所述拍摄图像中与所述侧方视野对应的区域即侧方视野区域中的哪一个的判定。判定部324在判定为属于前方视野区域的情况、和判定为属于侧方视野区域的情况下，设定不同的判定条件。

更具体而言，如图15的S42、S43所示，判定部324在判定为对象区域属于侧方视野区域、且帧间差值mSAD小于等于估计噪声量N（包含该值）的情况下判定为静止状态。如S42、S44所示，判定部324在判定为对象区域属于前方视野区域、且帧间差值mSAD小于等于对估计噪声量N乘以大于1的系数Ca而得到的值的情况下，判定为静止状态。

例如在图13中说明的那样，区域判定部327根据拍摄图像中的对象区域的位置（x，y）判定对象区域所属的区域。

由此，在判定为是前方视野区域的情况下，通过将阈值设定为大于估计噪声量N的CaN，相比侧方视野区域，能够更容易地选择时间方向NR处理。

这里，降噪处理的对象区域可以由1个像素构成，也可以由多个像素构成。例如，在上式（4）所示的第1降噪处理、和上式（5）所示的第2降噪处理中，像素（x，y）是对象区域。

此外，前方视野是指包含摄像部200的光轴方向的视野范围，例如是相对于光轴为0度～70度的范围。侧方视野是指包含与光轴垂直的方向的视野范围。例如在摄像部200的视野范围相对于光轴为0度～115度的情况下，侧方视野是相对于光轴为70度～115度的范围。

4.第3实施方式

4.1.内窥镜系统

对利用在白色光图像和特殊光图像中不同的阈值进行静止状态和动作状态的判别处理的第3实施方式进行说明。

图16示出第3实施方式中的内窥镜系统的结构例。内窥镜系统包含光源部100、摄像部200、控制装置300、显示部400和外部I/F部500。另外以下，对与第1实施方式中的内窥镜系统的结构要素相同的结构要素标注相同标号并适当省略说明。摄像部200和控制装置300以外的结构要素与第1实施方式相同，因此省略说明。

摄像部200包含光纤210、照明透镜220、聚光透镜231、摄像元件240、存储器250、窄带滤波器290和滤波器驱动部280。光纤210、照明透镜220、摄像元件240和存储器250与第1实施方式相同，因此省略说明。滤波器驱动部280与窄带滤波器290连接，并且与控制部390双向连接。

如图17所示，窄带滤波器290使380～450nm和530～550nm的光透射。此外，窄带滤波器290能够插入到聚光透镜231和摄像元件240之间的光路中。窄带滤波器290的插入/不插入例如由用户从外部I/F部500进行控制。该情况下，从外部I/F部500经由控制部390将用户的指示送出到滤波器驱动部280，从而滤波器驱动部280对窄带滤波器290进行驱动。在将窄带滤波器290插入到了光路中的情况下，控制部390向插值处理部310和降噪部320输出触发信号。

控制装置300包含插值处理部310、降噪部320、帧存储器330、显示图像生成部340和控制部390。

插值处理部310对由摄像元件240拍摄的图像进行插值处理。插值处理部310在从控制部390未输出上述触发信号的情况（未插入窄带滤波器290的情况）下，利用与第1实施方式相同的方法生成RGB图像。以下，将在未插入窄带滤波器290的情况下取得的RGB图像称作白色光图像（广义上指通常光图像）。

另一方面，在从控制部390输出了上述触发信号的情况（插入了窄带滤波器290的情况）下，插值处理部310仅对G信号和B信号进行插值处理。插值处理是例如公知的双三次插值处理。该情况下，插值处理部310通过插值处理生成在全部像素中具有G信号的G图像、和在全部像素中具有B信号的B图像。并且，通过向RGB图像的R信号输入G图像、向RGB图像的G信号和B信号输入B图像，来生成RGB图像。以下，将在插入了窄带滤波器290的情况下取得的RGB图像称作窄带光图像（广义上指特殊光图像）。

4.2.降噪处理

图18示出第3实施方式中的降噪部320的详细结构例。降噪部320包含评价值计算部321、估计噪声量取得部322、查询表323、判定部324和降噪处理部325。

图19示出第3实施方式中的降噪处理的流程图。另外，步骤S62、S64以外的步骤与在图5和图10中说明的步骤相同，因此适当省略说明。

如步骤S62～S64所示，判定部324根据在步骤S60中输出的差值平均值mSAD、在步骤S61中输出的噪声量N、和从控制部390输出的触发信号进行判别处理。具体而言，在从控制部390输出了触发信号的情况下，判定部324使用下式（10）进行判别处理。在下式（10）中，系数Cc是小于1的正实数。在未从控制部390输出触发信号的情况下，判定部324使用上式（2）进行判别处理。

【数式10】

如果  mSAD≤Cc×N         静止状态

                                    (10)

否则                      动作状态

一般而言，在窄带光图像中光量不足，因此与白色光图像相比具有噪声增加（S/N恶化）的特征。因此，图6的（A）所说明的结构成分被埋入到图6的（B）所说明的噪声成分中，从而静止状态和动作状态的判别处理精度劣化。即，在是否为静止状态的判别处理中，尽管是动作状态也判别为静止状态，并选择了时间方向NR处理。该情况下，存在时间方向NR处理的副作用即产生余像的问题。

在该点上，根据本实施方式，在取得了窄带光图像的情况下，使用上式（10）进行是否为静止状态的判别处理。由于Cc＜1，因此与白色光图像的情况相比阈值变小，从而能够使空间方向NR处理成为支配性的处理。由此，能够降低尽管是动作状态也判别为静止状态的可能性，能够改善产生余像的问题。由此，通过根据内窥镜的观察模式（白色光图像观察或窄带光图像观察），控制运动判别处理时的阈值，从而能够实现自适应性的NR处理。

根据上述实施方式，判定部324根据拍摄图像的种类，设定是否为静止状态的判定条件。

由此，能够配合拍摄图像的种类所具有的特性，容易地选择第1降噪处理或第2降噪处理。例如，能够提高细微结构的视觉辨认性，或者能够抑制静止状态的误判。

这里，拍摄图像的种类例如由拍摄图像的像素数和分辨率、曝光时间、帧率、所安装的摄像部200的种类、照明光的特性以及在拍摄时使用的光学滤波器的特性等决定。

并且在本实施方式中，如在图16中说明的那样，拍摄图像是具有白色波段中的信息的白色光图像、或具有特定波段中的信息的特殊光图像（狭义上指窄带光图像）。判定部324在拍摄图像是白色光图像的情况、和拍摄图像是特殊光图像的情况下，设定不同的判定条件。

具体而言，如图19的S62、S63所示，判定部324在拍摄图像是白色光图像、且帧间差值mSAD小于等于估计噪声量N（包含该值）的情况下判定为静止状态。如S62、S64所示，判定部324在拍摄图像是特殊光图像、且帧间差值mSAD小于等于对估计噪声量N乘以小于1的系数Cc而得到的值的情况下，判定为静止状态。

由此，在判定为特殊光图像的情况下，通过将阈值设定为小于估计噪声量N的CcN，使得与白色光图像的情况相比，能够更容易地选择至少包含空间方向的降噪处理的第2降噪处理。由此，在S/N比白色光图像低的特殊光图像中，能够抑制静止状态的误判。

另外，上述实施方式中，以通过将窄带滤波器290插入到光路中来拍摄特殊光图像的情况为例进行了说明，但本实施方式不限于此。例如光源部100也可以通过射出特殊光（狭义上是窄带光）来拍摄特殊光图像。或者，摄像部200还可以进一步包含具有使特殊光透射的滤色器的摄像元件，并通过该摄像元件拍摄特殊光图像。或者，还可以通过图像处理由白色光图像生成特殊光图像。

并且在本实施方式中，特定的波段是比白色光波段（例如380nm～650nm）窄的频带（NBI：Narrow Band Imaging，窄带光成像）。例如，通常光图像和特殊光图像是拍摄活体内部而得到的活体内图像，该活体内图像所包含的特定波段是被血液中的血红蛋白吸收的波长的波段。例如、该被血红蛋白吸收的波长是390nm～445nm（第1窄带光、窄带光的B2成分）、或530nm～550nm（第2窄带光、窄带光的G2成分）。

由此，能够观察活体的表层部和位于深部的血管的结构。并且，通过将所得到的信号输入到特定通道（G2→R、B2→G，B），能够利用褐色等来显示扁平上皮癌等难以用通常光来视觉辨认的病变等，能够抑制病变部的漏查。另外，390nm～445nm或530nm～550nm是根据被血红蛋白吸收这样的特性和分别到达活体的表层部或深部这样的特性而得到的数字。但是，该情况下的波段不限于此，例如由于与基于血红蛋白的吸收和到达活体的表层部或深部有关的实验结果等的变动原因，考虑波段的下限值减少0～10%左右，上限值上升0～10%左右。

5.第4实施方式

5.1.内窥镜系统

对第4实施方式进行说明，在该第4实施方式中，检测帧间的被摄体的运动矢量，并在使位置错开了该运动矢量的帧间进行静止状态和动作状态的判别处理。

图20示出第4实施方式中的内窥镜系统的结构例。内窥镜系统包含光源部100、摄像部200、控制装置300、显示部400和外部I/F部500。另外以下，对与第1实施方式中的内窥镜系统的结构要素相同的结构要素标注相同标号并适当省略说明。控制装置300以外的结构要素与第1实施方式相同，因此省略说明。

控制装置300包含插值处理部310、降噪部320、帧存储器330、显示图像生成部340、运动矢量检测部350和控制部390。控制装置300的结构除了追加了运动矢量检测部350以外，其他与第1实施方式相同。

运动矢量检测部350根据从插值处理部310输出的RGB图像、和帧存储器330所保持的之前图像，检测运动矢量（Vec＿x，Vec＿y）。运动矢量的检测可以使用例如公知的块匹配处理。运动矢量例如针于各像素求出。

5.2.降噪处理

图21示出第4实施方式中的降噪部320的详细结构例。降噪部320包含评价值计算部321、估计噪声量取得部322、查询表323、判定部324和降噪处理部325。

第4实施方式中的降噪处理的流程图与在图10中说明的第1实施方式相同。图10的步骤S20、S25、S26以外的处理与第1实施方式相同，因此适当省略说明。

在步骤S20中，评价值计算部321使用下式（11）计算差值平均值mSAD。具体而言，运动矢量检测部350检测运动矢量（Vec＿x，Vec＿y），评价值计算部321考虑运动矢量（Vec＿x，Vec＿y）来计算差值平均值mSAD。

【数式11】

$\begin{array}{c}\mathrm{mSAD}=\min \left\{\begin{array}{ccc}\mathrm{SAD}(-1,-1),& \mathrm{SAD}(0,-1),& \mathrm{SAD}(1,-1),\\ \mathrm{SAD}(-\mathrm{1,0}),& \mathrm{SAD}\left(\mathrm{0,0}\right),& \mathrm{SAD}\left(\mathrm{1,0}\right),\\ \mathrm{SAD}(-\mathrm{1,1}),& \mathrm{SAD}\left(\mathrm{0,1}\right),& \mathrm{SAD}\left(\mathrm{1,1}\right),\end{array}\right\},\\ \mathrm{SAD}(m,n)=\frac{1}{{(2k+1)}^2}\underset{j=-k}{\overset{k}{\mathrm{\Σ}}}\underset{i=-k}{\overset{k}{\mathrm{\Σ}}}\left|\right|\begin{array}{c}{F}_{G\_\mathrm{cur}}(x+i,y+j)\\ \_F_{G\_\mathrm{pre}}(x+i+\mathrm{Vec}\_x+m,y+j+\mathrm{Vec}\_y+n)\end{array}\left|\right|\end{array}---\left(11\right)$

在步骤S25中，如下式（12）所示，降噪处理部325进行考虑了运动矢量（Vec＿x，Vec＿y）的时间方向NR处理。

【数式12】

$F_{G\_\mathrm{NR}}(x,y)=\frac{\mathrm{we}\_\mathrm{cur}\×F_{G\_\mathrm{cur}}(x,y)+\mathrm{we}\_\mathrm{pre}\×F_{G\_\mathrm{pre}}(x+\mathrm{vec}\_x+m,y+\mathrm{vec}\_y+n)}{\mathrm{we}\_\mathrm{cur}+\mathrm{we}\_\mathrm{pre}}---\left(12\right)$

在步骤S26中，如下式（13）所示，降噪处理部325进行考虑了运动矢量（Vec＿x，Vec＿y）的空间方向NR处理。

【数式13】

$\begin{array}{c}\underset{j=-I}{\overset{I}{\mathrm{\Σ}}}\underset{i=-I}{\overset{I}{\mathrm{\Σ}}}\{\mathrm{we}\_\mathrm{diff}\_\mathrm{cur}(x+i,y+j)\×F_{G\_\mathrm{cur}}(x+i,y+j)\}+\\ F_{G\_\mathrm{NR}}(x,y)=\frac{\underset{j=-I}{\overset{I}{\mathrm{\Σ}}}\underset{i=-I}{\overset{I}{\mathrm{\Σ}}}\{\mathrm{we}\_\mathrm{diff}\_\mathrm{pre}(x+i,y+j)\×F_{G\_\mathrm{pre}}(x+i+\mathrm{vec}\_x+m,y+j+\mathrm{vec}\_y+n)\}}{\underset{j=-I}{\overset{I}{\mathrm{\Σ}}}\underset{i=-I}{\overset{I}{\mathrm{\Σ}}}\mathrm{we}\_\mathrm{diff}\_\mathrm{cur}(x+i,y+i)+}\\ \underset{j=-I}{\overset{I}{\mathrm{\Σ}}}\underset{i=-I}{\overset{I}{\mathrm{\Σ}}}\mathrm{we}\_\mathrm{diff}\_\mathrm{pre}(x+i,y+j)\end{array}---\left(13\right)$

在上式（13）中，权重系数we＿cur、we＿pre用下式（14）表示。

【数式14】

$\begin{array}{c}\mathrm{we}\_\mathrm{diff}\_\mathrm{cur}(x+i,y+j)=\exp [-\frac{{\{F_{G\_\mathrm{cur}}(x+i,y+j)-F_{G\_\mathrm{cur}}(x,y)\}}^2}{2{\mathrm{\σ}}^2}]\\ \mathrm{we}\_\mathrm{diff}\_\mathrm{pre}(x+i,y+j)=\exp [-\frac{{\{F_{G\_\mathrm{pre}}(x+i+\mathrm{vec}\_x+m,y+j+\mathrm{vec}\_y+n)-F_{G\_\mathrm{cur}}(x,y)\}}^2}{{2\mathrm{\σ}}^2}]\end{array},---\left(14\right)$

根据本实施方式，通过考虑运动矢量，在如筛选时那样运动量较大的情况下，也使得时间方向NR处理发挥作用。即，在上式（11）中对之前图像F_G＿pre的像素位置进行了运动补偿，因此在运动矢量的检测处理能够追随被摄体的运动的情况下判别为静止状态，并选择时间方向NR处理。由此，即使在被摄体存在运动的情况下，也能够在保持了高频成分的状态下仅使噪声衰减。

根据上述实施方式，如图20所示，图像处理装置包含检测在拍摄图像的第1帧与第2帧之间的被摄体的运动矢量（Vec＿x，Vec＿y）的运动矢量检测部350。如在上式（11）中说明的那样，评价值计算部321计算用于判定在第1帧与通过运动矢量（Vec＿x，Vec＿y）进行运动补偿的第2帧之间是否为静止状态的评价值（帧间差值mSAD）。如在上式（12）～（14）中说明的那样，降噪处理部325根据第1帧和通过运动矢量（Vec＿x，Vec＿y）进行运动补偿的第2帧，进行第1降噪处理和第2降噪处理。

这里，通过运动矢量进行运动补偿是指在判定处理和降噪处理中，利用运动矢量补偿第2帧的像素位置。例如在上式（11）中，在求出SAD时，第2帧F_G＿pre的像素位置是相对于第1帧F_G＿cur的像素位置错开了运动矢量（Vec＿x，Vec＿y）的位置。

另外，在以上的第1～第4实施方式中说明的图像处理装置等可以通过程序实现其处理的一部分或全部。该情况下，通过由CPU等处理器执行程序，实现本实施方式的图像处理装置等。具体而言，读出信息存储介质所存储的程序，并由CPU等处理器执行所读出的程序。这里，信息存储介质（计算机可读取的介质）是存储程序和数据等的介质，其功能能够通过光盘（DVD、CD等）、HDD（硬盘驱动器）、或存储器（卡型存储器、ROM等）等实现。并且，CPU等处理器根据信息存储介质所存储的程序（数据）进行本实施方式的各种处理。即，在信息存储介质中，存储用于使计算机（具有操作部、处理部、存储部、输出部的装置）作为本实施方式的各部发挥作用的程序（用于使计算机执行各部的处理的程序）。

以上对应用了本发明的实施方式及其变形例进行了说明，但是，本发明不限于各实施方式及其变形例本身，在实施阶段，能够在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述各实施方式和变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式和变形例中说明的结构要素。这样，能够在不脱离发明主旨的范围内实现各种变形和应用。另外，本实施方式不限于内窥镜系统，还能够应用于数字摄像机等各种拍摄系统。

此外，在说明书或附图中，对于至少一次地与更广义或同义的不同用语一起记载的用语，在说明书或附图的任何位置处，都可以将其置换为该不同的用语。

标号说明

100：光源部；110：白色光源；120：透镜；200：摄像部；210：光纤；220：照明透镜；230：聚光透镜；231：聚光透镜；240：摄像元件；250：存储器；260：镜头驱动部；270：聚光透镜；280：滤波器驱动部；290：窄带滤波器；300：控制装置；310：插值处理部；320：降噪部；321：评价值计算部；322：估计噪声量取得部；322：降噪处理部；323：查询表；324：判定部；325：降噪处理部；326：视场角信息取得部；327：区域判定部；330：帧存储器；340：显示图像生成部；350：运动矢量检测部；390：控制部；400：显示部；500：外部I/F部；Ca、Cc：系数；mSAD：帧间差值；N：估计噪声量；R：半径；x、y：像素位置；xo、yo：中心位置；θ：视场角。

权利要求书(按照条约第19条的修改)

1.（修改后）一种图像处理装置，其特征在于，包括：

评价值计算部，其计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态；

估计噪声量取得部，其取得所述拍摄图像的估计噪声量；

判定部，其根据所述评价值、所述估计噪声量和规定的条件，进行是否为所述静止状态的判定；以及

降噪处理部，在判定为是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理，

所述规定的条件是所述被摄体的观察状态，或者降噪处理的对象区域属于前方视野区域和侧方视野区域中的哪一个，或者所述拍摄图像的种类。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括视场角信息取得部，所述视场角信息取得部取得拍摄所述拍摄图像的摄像部的视场角信息，

所述判定部根据所述视场角信息所表示的视场角，设定是否为所述静止状态的判定条件。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值，

所述判定部在所述视场角大于等于阈值、且所述帧间差值小于等于所述估计噪声量的情况下判定为是所述静止状态，

所述判定部在所述视场角小于所述阈值、且所述帧间差值小于等于对所述估计噪声量乘以大于1的系数而得到的值的情况下判定为是所述静止状态。

4.（修改后）根据权利要求1所述的图像处理装置，其特征在于，

所述判定部根据在所述拍摄图像中所述降噪处理的所述对象区域所属的区域，设定是否为所述静止状态的判定条件。

5.（修改后）根据权利要求4所述的图像处理装置，其特征在于，

所述图像处理装置包括区域判定部，

拍摄所述拍摄图像的摄像部能够拍摄所述摄像部的前方视野和侧方视野，

所述区域判定部进行所述对象区域属于所述拍摄图像中与所述前方视野对应的区域即所述前方视野区域、和所述拍摄图像中与所述侧方视野对应的区域即所述侧方视野区域中的哪一个的判定，

所述判定部在判定为属于所述前方视野区域的情况、和判定为属于所述侧方视野区域的情况下，设定不同的所述判定条件。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值，

所述判定部在判定为所述对象区域属于所述侧方视野区域、且所述帧间差值小于等于所述估计噪声量的情况下判定为是所述静止状态，

所述判定部在判定为所述对象区域属于所述前方视野区域、且所述帧间差值小于等于对所述估计噪声量乘以大于1的系数而得到的值的情况下判定为是所述静止状态。

7.根据权利要求5所述的图像处理装置，其特征在于，

所述区域判定部根据所述拍摄图像中的所述对象区域的位置，判定所述对象区域所属的区域。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述判定部根据所述拍摄图像的种类，设定是否为所述静止状态的判定条件。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述拍摄图像是具有白色光波段中的信息的白色光图像、或具有特定波段中的信息的特殊光图像，

所述判定部在所述拍摄图像是所述白色光图像的情况、和所述拍摄图像是所述特殊光图像的情况下，设定不同的所述判定条件。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值，

所述判定部在所述拍摄图像是所述白色光图像、且所述帧间差值小于等于所述估计噪声量的情况下判定为是所述静止状态，

所述判定部在所述拍摄图像是所述特殊光图像、且所述帧间差值小于等于对所述估计噪声量乘以小于1的系数而得到的值的情况下判定为是所述静止状态。

11.根据权利要求9所述的图像处理装置，其特征在于，

所述特定波段是比所述白色光的波段窄的波段。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述白色光图像和所述特殊光图像是拍摄活体内部而得到的活体内图像，

所述活体内图像所包含的所述特定波段是被血液中的血红蛋白吸收的波长的波段。

13.根据权利要求12所述的图像处理装置，其特征在于，

所述特定波段是390nm～445nm、或530nm～550nm。

14.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括运动矢量检测部，该运动矢量检测部检测在所述拍摄图像的第1帧与第2帧之间的被摄体的运动矢量，

所述评价值计算部计算用于判定在所述第1帧与通过所述运动矢量进行运动补偿的所述第2帧之间是否为所述静止状态的所述评价值，

所述降噪处理部根据所述第1帧和通过所述运动矢量进行运动补偿的所述第2帧，进行所述第1降噪处理和所述第2降噪处理。

15.根据权利要求1所述的图像处理装置，其特征在于，

所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值，

所述判定部将所述估计噪声量设为阈值，在所述帧间差值小于等于所述阈值的情况下判定为是所述静止状态。

16.根据权利要求15所述的图像处理装置，其特征在于，

在将所述拍摄图像的第1帧中以处理对象像素为中心的规定尺寸的区域设为第1区域、将所述拍摄图像的第2帧中以处理对象像素为中心的规定尺寸的区域设为第2区域的情况下，

所述评价值计算部一边将所述第2区域相对于所述第1区域水平和垂直地以每次移动1个像素的方式依次移动，一边求出多个所述第1区域的像素值与所述第2区域的像素值之间的差值，并输出所求出的所述多个差值中的最小值作为所述帧间差值，

所述判定部在所述最小值小于等于所述阈值的情况下判定为是所述静止状态。

17.（修改后）一种内窥镜装置，其特征在于，包括：

摄像部，其对拍摄图像进行拍摄；

评价值计算部，其计算评价值，该评价值用于判定所述拍摄图像上的被摄体在帧间是否为静止状态；

估计噪声量取得部，其取得所述拍摄图像的估计噪声量；

判定部，其根据所述评价值、所述估计噪声量和规定的条件，进行是否为所述静止状态的判定；以及

降噪处理部，在判定为是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理，

所述规定的条件是所述被摄体的观察状态，或者降噪处理的对象区域属于前方视野区域和侧方视野区域中的哪一个，或者所述拍摄图像的种类。

18.（修改后）一种图像处理方法，其特征在于，包括以下步骤：

计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态，

取得所述拍摄图像的估计噪声量，

根据所述评价值、所述估计噪声量和规定的条件，进行是否为所述静止状态的判定，所述规定的条件是所述被摄体的观察状态，或者降噪处理的对象区域属于前方视野区域和侧方视野区域中的哪一个，或者所述拍摄图像的种类，

在判定为是所述静止状态的情况下，对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

19.（修改后）一种图像处理程序，其特征在于，使计算机执行以下步骤：

计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态；

取得所述拍摄图像的估计噪声量；

根据所述评价值、所述估计噪声量和规定的条件，进行是否为所述静止状态的判定，所述规定的条件是所述被摄体的观察状态，或者降噪处理的对象区域属于前方视野区域和侧方视野区域中的哪一个，或者所述拍摄图像的种类；以及

在判定为所述静止状态的情况下，对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

20.（追加）根据权利要求1所述的图像处理装置，其特征在于，

所述观察状态是与拍摄所述拍摄图像的摄像部的视场角有关的状态。

21.（追加）根据权利要求1所述的图像处理装置，其特征在于，

所述拍摄图像的种类由所述拍摄图像的像素数、或分辨率、或所述拍摄图像的拍摄时的曝光时间、或帧率、或所安装的摄像部的种类、或照明光的特性、或拍摄时使用的光学滤波器的特性所决定。

Claims (19)

1.一种图像处理装置，其特征在于，包括：

评价值计算部，其计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态；

估计噪声量取得部，其取得所述拍摄图像的估计噪声量；

判定部，其根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及

降噪处理部，在判定为是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括视场角信息取得部，所述视场角信息取得部取得拍摄所述拍摄图像的摄像部的视场角信息，

所述判定部根据所述视场角信息所表示的视场角，设定是否为所述静止状态的判定条件。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值，

所述判定部在所述视场角大于等于阈值、且所述帧间差值小于等于所述估计噪声量的情况下判定为是所述静止状态，

所述判定部在所述视场角小于所述阈值、且所述帧间差值小于等于对所述估计噪声量乘以大于1的系数而得到的值的情况下判定为是所述静止状态。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述判定部根据在所述拍摄图像中降噪处理的对象区域所属的区域，设定是否为所述静止状态的判定条件。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述图像处理装置包括区域判定部，

拍摄所述拍摄图像的摄像部能够拍摄所述摄像部的前方视野和侧方视野，

所述区域判定部进行所述对象区域属于所述拍摄图像中与所述前方视野对应的区域即前方视野区域、和所述拍摄图像中与所述侧方视野对应的区域即侧方视野区域中的哪一个的判定，

所述判定部在判定为属于所述前方视野区域的情况、和判定为属于所述侧方视野区域的情况下，设定不同的所述判定条件。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值，

所述判定部在判定为所述对象区域属于所述侧方视野区域、且所述帧间差值小于等于所述估计噪声量的情况下判定为是所述静止状态，

所述判定部在判定为所述对象区域属于所述前方视野区域、且所述帧间差值小于等于对所述估计噪声量乘以大于1的系数而得到的值的情况下判定为是所述静止状态。

7.根据权利要求5所述的图像处理装置，其特征在于，

所述区域判定部根据所述拍摄图像中的所述对象区域的位置，判定所述对象区域所属的区域。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述判定部根据所述拍摄图像的种类，设定是否为所述静止状态的判定条件。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述拍摄图像是具有白色光波段中的信息的白色光图像、或具有特定波段中的信息的特殊光图像，

所述判定部在所述拍摄图像是所述白色光图像的情况、和所述拍摄图像是所述特殊光图像的情况下，设定不同的所述判定条件。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值，

所述判定部在所述拍摄图像是所述白色光图像、且所述帧间差值小于等于所述估计噪声量的情况下判定为是所述静止状态，

所述判定部在所述拍摄图像是所述特殊光图像、且所述帧间差值小于等于对所述估计噪声量乘以小于1的系数而得到的值的情况下判定为是所述静止状态。

11.根据权利要求9所述的图像处理装置，其特征在于，

所述特定波段是比所述白色光的波段窄的波段。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述白色光图像和所述特殊光图像是拍摄活体内部而得到的活体内图像，

所述活体内图像所包含的所述特定波段是被血液中的血红蛋白吸收的波长的波段。

13.根据权利要求12所述的图像处理装置，其特征在于，

所述特定波段是390nm～445nm、或530nm～550nm。

14.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括运动矢量检测部，该运动矢量检测部检测在所述拍摄图像的第1帧与第2帧之间的被摄体的运动矢量，

所述评价值计算部计算用于判定在所述第1帧与通过所述运动矢量进行运动补偿的所述第2帧之间是否为所述静止状态的所述评价值，

所述降噪处理部根据所述第1帧和通过所述运动矢量进行运动补偿的所述第2帧，进行所述第1降噪处理和所述第2降噪处理。

15.根据权利要求1所述的图像处理装置，其特征在于，

所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值，

所述判定部将所述估计噪声量设为阈值，在所述帧间差值小于等于所述阈值的情况下判定为是所述静止状态。

16.根据权利要求15所述的图像处理装置，其特征在于，

在将所述拍摄图像的第1帧中以处理对象像素为中心的规定尺寸的区域设为第1区域、将所述拍摄图像的第2帧中以处理对象像素为中心的规定尺寸的区域设为第2区域的情况下，

所述评价值计算部一边将所述第2区域相对于所述第1区域水平和垂直地以每次移动1个像素的方式依次移动，一边求出多个所述第1区域的像素值与所述第2区域的像素值之间的差值，并输出所求出的所述多个差值中的最小值作为所述帧间差值，

所述判定部在所述最小值小于等于所述阈值的情况下判定为是所述静止状态。

17.一种内窥镜装置，其特征在于，包括：

摄像部，其对拍摄图像进行拍摄；

评价值计算部，其计算评价值，该评价值用于判定所述拍摄图像上的被摄体在帧间是否为静止状态；

估计噪声量取得部，其取得所述拍摄图像的估计噪声量；

判定部，其根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及

降噪处理部，在判定为是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

18.一种图像处理方法，其特征在于，包括以下步骤：

计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态，

取得所述拍摄图像的估计噪声量，

根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定，

在判定为是所述静止状态的情况下，对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

19.一种图像处理程序，其特征在于，使计算机执行以下步骤：

计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态；

取得所述拍摄图像的估计噪声量；

根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及

在判定为所述静止状态的情况下，对所述拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是所述静止状态的情况下，对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。

Images