CN103096781A - 图像处理装置、内窥镜装置、图像处理程序以及图像处理方法 - Google Patents

Abstract

图像处理装置对由能够进行放大观察的摄像部(200)取得的图像进行处理。该图像处理装置包括：取得运动信息的运动信息取得部(320、330a)，其中，所述运动信息是表示摄像部(200)相对于被摄体的相对运动的信息；摄像倍率计算部(340a)，其计算摄像部(200)的摄像倍率；以及图像提取部(350a)，其从由摄像部(200)取得的摄像图像中提取特定区域中的图像作为提取图像。并且，图像提取部(350a)根据运动信息设定摄像图像中的特定区域的位置，并且，根据摄像倍率和运动信息设定边缘区域的大小，其中，所述边缘区域的大小是从摄像图像中除去特定区域以外的区域的大小。

Description

图像处理装置、内窥镜装置、图像处理程序以及图像处理方法

技术领域

本发明涉及图像处理装置、内窥镜装置、图像处理程序以及图像处理方法等。

背景技术

内窥镜诊断中，通常使用能够以与显微镜相当的放大率来观察生物体的内窥镜（以下，称为放大内窥镜）。与普通的内窥镜相比，放大内窥镜具有数十倍到数百倍的放大率。

在使用该放大内窥镜时，能够观察生物体的粘膜表层的凹窝（pit pattern）（细微结构）。众所周知，该生物体的粘膜表层的凹窝在病变部位和正常部位具有不同的图案。因此，通过使用放大内窥镜，能够容易地识别病变部位和正常部位。

在先技术文献

专利文献

专利文献1：日本特开平3-16470号公报

发明内容

发明所要解决的课题

但是，存在这样的课题：在使用放大内窥镜进行放大观察的情况下，受到内窥镜前端的摄像部与作为观察对象的生物体之间的相对运动的影响较大。即，即使该运动是微小的，在内窥镜监视器上也被识别为较大的抖动，该抖动会妨碍诊断。

此外，由于抖动的影响，有时会漏看所关注的区域（例如病变区域）。在放大观察时，由于视野非常狭窄，所以难以重新发现漏看的区域。因此，这样的情况下，医生需要反复如下作业：从放大观察切换到通常观察，在扩大视野的状态下搜索漏看的区域，然后再次切换到放大观察，对该区域进行观察。这样的反复作业成为医生的负担，也成为使诊断时间进一步延长的原因。

作为对这样的抖动进行校正的方法，例如在专利文献1中，公开了使用根据按时序拍摄的多个图像计算出的运动矢量，对抖动进行校正的方法。但是，在该方法中，由于未考虑因放大率导致的抖动增大的影响，所以在放大率较大的情况下，存在不能充分进行抖动校正这样的课题。

根据本发明的几种方式，能够提供图像处理装置、内窥镜装置、图像处理程序以及图像处理方法等，可对与放大率对应的抖动进行校正。

[用于解决课题的方法]

本发明的一种方式涉及图像处理装置，所述图像处理装置是对由能够进行放大观察的摄像部取得的图像进行处理的图像处理装置，包括：取得运动信息的运动信息取得部，所述运动信息是表示所述摄像部相对于被摄体的相对运动的信息；摄像倍率计算部，其计算所述摄像部的摄像倍率；以及图像提取部，其从由所述摄像部取得的摄像图像中提取特定区域的图像作为提取图像，所述图像提取部根据所述运动信息设定所述摄像图像中的所述特定区域的位置，并且，根据所述摄像倍率以及所述运动信息设定边缘区域的大小，所述边缘区域的大小是从所述摄像图像中除去所述特定区域以外的区域的大小。

根据本发明的一方式，取得被摄体与摄像部之间的相对运动信息，计算摄像部的摄像倍率。根据该运动信息，设定摄像图像中的特定区域的位置，还根据该摄像倍率设定边缘区域的大小。并且，根据所设定的特定区域的位置和边缘区域的大小，从摄像图像中提取出提取图像。由此，能够实现与摄像倍率对应的抖动校正等。

此外，本发明的另一方式涉及包括所述的图像处理装置的内窥镜装置。

此外，本发明的又一方式涉及图像处理程序，所述图像处理程序使计算机实现如下功能：取得运动信息的运动信息取得部，其中，所述运动信息是表示所述摄像部相对于被摄体的相对运动的信息；摄像倍率计算部，其计算所述摄像部的摄像倍率；以及图像提取部，其从由所述摄像部取得的摄像图像中提取特定区域中的图像作为提取图像，所述图像提取部，根据所述运动信息设定所述摄像图像中的所述特定区域的位置，并且，根据所述摄像倍率以及所述运动信息设定边缘区域的大小，其中，所述边缘区域的大小是从所述摄像图像中除去所述特定区域以外的区域的大小。

此外，本发明的又一方式涉及的图像处理方法，所述图像处理方法包括：取得运动信息，该运动信息是表示所述摄像部相对于被摄体的相对运动的信息；计算所述摄像部的摄像倍率；从由所述摄像部取得的摄像图像中提取特定区域的图像作为提取图像；根据所述运动信息设定所述摄像图像中的所述特定区域的位置，并且，根据所述摄像倍率以及所述运动信息设定边缘区域的大小，所述边缘区域的大小是从所述摄像图像中除去所述特定区域以外的区域的大小。

附图说明

图1是关于本实施方式的方法的说明图。

图2是关于本实施方式的方法的说明图。

图3是关于本实施方式的方法的说明图。

图4是关于本实施方式的方法的说明图。

图5是内窥镜装置的结构例。

图6是光源部的滤色器的结构例。

图7是光源部的滤色器的分光透射率特性的示例。

图8是摄像元件的分光感光度特性的示例。

图9是同步处理部的详细结构例。

图10是由摄像部取得的图像的示例。

图11是从同步处理部输出的图像的示例。

图12是通道间运动矢量检测部的详细结构例。

图13是块匹配处理中的局部区域的设定例。

图14是帧间运动矢量检测部的详细结构例。

图15是关于放大率的计算方法的说明图。

图16是图像提取部的详细结构例。

图17（A）是关于边缘区域的大小的说明图。图17（B）是关于边缘区域的始点坐标的说明图。

图18是关于剪裁处理的说明图。

图19是内窥镜装置的第2结构例。

图20是摄像元件的滤色器的分光透射特性的示例。

图21是关于放大率的第2计算方法的说明图。

图22是图像提取部的第2详细结构例。

图23是内窥镜装置的第3结构例。

图24是帧间运动矢量检测部的第2详细结构例。

图25是放大率计算部的详细结构例。

图26是关于摄像部前端的移动方向的定义的说明图。

图27（A）、图27（B）是关于放大率的第3计算方法的说明图。

图28是示出计算机系统的结构的系统结构图。

图29是示出计算机系统中的主体部的结构的框图。

图30是本实施方式所进行的处理的流程图示例。

具体实施方式

以下，对本实施方式进行说明。另外，以下所说明的本实施方式，并非是对权利要求书所记载的本发明的内容的不恰当限定。此外，本实施方式中所说明的全部结构，并非一定是本发明必需的结构要件。

1．本实施方式的方法

首先，使用图1对抖动校正的方法进行说明。在本实施方式所进行的抖动校正中，如图1的B1所示那样，从拍摄动态图像而得到的图像中提取部分区域，如B2所示那样，显示该提取出的区域的图像。并且，如B3所示那样，在下一帧中摄像部向右下方抖动情况下，将提取图像的区域向左上偏移，如B4所示那样，显示与前一帧相同的区域。这样，使提取图像的区域向抵消抖动的方向移动，由此对摄像部与被摄体之间的相对抖动进行校正。

接下来，使用图2～图4，对上述抖动校正的课题进行说明。另外，为了简化说明，以下仅着眼于G图像进行说明。

如图2所示，在某时间t-1（时刻），使摄像部200的前端位于P1所示的位置。此时，如图3的R1所示，通过摄像元件240a取得在图像中央部拍摄有关注区域的G图像。并且，将A1所示的区域的图像用作显示图像。

接下来，如图2所示，在时间t，使摄像部200的前端向P2所示的位置移动。此时，如图3的R2所示，通过摄像元件240a取得在偏移了Q1的位置拍摄有关注区域的G图像。并且，将从A1所示的区域偏移了位移量Q1的A2所示的区域的图像用作显示图像。该位移量Q1使用在时间t-1和时间t取得的G图像，根据例如公知的块匹配处理来检测。

通过以上的处理，能够显示进行了抖动校正的显示图像。但是，在该方法中，在位移量Q1较大的情况下，存在难以进行抖动校正这样的课题。例如，如图4所示，使R4所示的时间t的关注区域相对于R3所示的时间t-1的关注区域大大地偏移了位移量Q2。在该情况下，如A3所示，提取显示图像的区域伸出到摄像图像外，由于在该区域的右端不存在图像的信号值，所以不能提取显示图像。

这样的状况会在例如内窥镜诊断中的放大观察时产生。即，在放大观察时，由于上述位移量趋向于与放大率（摄像倍率）成比例地增大，所以在将上述的抖动校正方法直接应用于内窥镜装置时，存在可进行校正的抖动的大小受限制这样的课题。

因此，在本实施方式中，如图4的A4所示那样，根据放大率来减小用作显示图像的区域。这相当于根据放大率来扩大未用作显示图像的区域（边缘区域）。在本实施方式中，通过这样扩大边缘区域，即使对于较大的位移量也能够将提取区域纳入图像内，从而即使在放大观察时也能够稳定地进行抖动校正。

2．内窥镜装置

图5示出根据放大率变更边缘区域的尺寸的内窥镜装置的结构例。该内窥镜装置（内窥镜系统）包括光源部100、摄像部200、图像处理部300、显示部400以及外部I/F部500。

光源部100包括：产生白色光的白色光源110；旋转滤光器120，其从该白色光中提取规定波段的光；电动机120a，其用于驱动该旋转滤光器120；以及透镜130，其用于将由旋转滤光器120提取的光会聚于光导纤维210。

例如，如图6所示，旋转滤光器120由透射率的不同的3种滤色器Fr、Fg、Fb构成。例如图7所示，关于这3种滤色器，Fr滤光器具有透射580～700nm的光的特性、Fg滤光器具有透射480～600nm的光的特性、Fb滤光器具有透射400～500nm的光的特性。

电动机120a与控制部380双向连接。并且，根据来自控制部380的控制信号驱动电动机120a，由此使旋转滤光器120旋转，从而依次切换插入到白色光源110与透镜130之间的光路中的滤色器Fg、Fr、Fb。电动机120a将插入到白色光源110与透镜130之间的光路中的滤色器的信息输出到控制部380。例如，该滤色器的信息是如下所示的识别信息。控制部380将该识别信息输出到下述的同步处理部310。

插入到光路中的滤色器：识别信息

Fg：1

Fr：2

Fb：3

这样，通过使旋转滤光器120旋转来切换滤色器，通过下述的单色的摄像元件240a对与各滤色器对应的图像进行摄影。即，按时序取得R、G、B各图像。此处，R图像是将滤色器Fr插入到上述的光路的期间中取得的图像。此外，G图像和B图像分别是将滤色器Fg和滤色器Fb插入到上述的光路的期间中取得的图像。

由于摄像部200要能够插入到体腔，所以形成为细长且可弯曲。此外，由于根据观察的部位等而采用不同的摄像部200，所以摄像部200构成为可拆装。另外，由于在内窥镜领域中，摄像部200一般被称为镜头，所以在以下的说明中，将摄像部200适当称为镜头。

摄像部200包括：光导纤维210，其用于引导由光源部100会聚的光；以及照明透镜220，其使由该光导纤维210引导的光扩散并照射于被摄体。此外，摄像部200包括：会聚透镜230，其会聚来自被摄体的反射光；以及摄像元件240a，其用于检测由该会聚透镜230会聚的反射光。摄像元件240a是例如具有图8所示的分光感光度特性的单色的摄像元件。

此外，摄像部200在内部具有存储器250，该存储器250中保存有各镜头固有的识别编号。此外，存储器250与控制部380连接。并且，控制部380通过参照存储器250中保存的识别编号，能够识别所连接的镜头的种类。

会聚透镜230能够对焦点位置进行变动控制，例如能够将焦点位置控制在dmin～dmax［mm］。例如，使用者可经由外部I/F部500将焦点位置d设定为dmin～dmax［mm］的范围内的任意值。并且，使用者通过外部I/F部500设定的焦点位置d被传送到控制部380，控制部380根据使用者设定的焦点位置d，控制会聚透镜230，变更焦点位置。另外，以下，将通常（非放大）观察时的焦点位置设为dn=dmax［mm］。

此处，所谓焦点位置，表示会聚透镜230对焦时的会聚透镜230与被摄体之间的距离。此外，所谓通常观察，是指例如在可设定的焦点位置的范围内，将焦点位置设定在最大距离来观察被摄体的情况。

上述的焦点位置的控制范围，根据所连接的镜头而不同。如上所述，控制部380通过参照存储器250中保存的各镜头固有的识别编号，能够识别所连接的镜头的种类。因此，控制部380能够取得所连接的镜头的焦点位置的控制范围dmin～dmax［mm］以及通常观察时的焦点位置dn的信息。

控制部380将与焦点位置相关的信息输出到下述的放大率计算部340a。该输出的信息是上述的使用者设定的焦点位置d、通常观察时的焦点位置dn的信息以及焦点位置的最小值dmin。

图像处理部300包括：同步处理部310、通道间运动矢量检测部320、帧间运动矢量检测部330a、放大率计算部340a、图像提取部350a、普通光图像生成部360、尺寸转换部370以及控制部380。控制部380连接同步处理部310、通道间运动矢量检测部320、帧间运动矢量检测部330a、放大率计算部340a、图像提取部350a、普通光图像生成部360以及尺寸转换部370，并对它们进行控制。

同步处理部310根据在摄像元件240a中按时序取得的R、G、B各图像，通过下述的方法生成RGB图像。通道间运动矢量检测部320检测在同步处理部310中生成的RGB图像的各图像之间的运动矢量。在将G图像作为基准的情况下，该通道间的运动矢量是R图像的运动矢量和B图像的运动矢量。

如使用图14所述那样，帧间运动矢量检测部330a根据帧存储器331中存储的1帧前的RGB图像以及从同步处理部310输出的RGB图像，检测帧间运动矢量。

放大率计算部340a使用从控制部380输出的焦点位置的信息，计算放大率。此处，所谓放大率（摄像倍率）是指摄像图像中的被摄体的放大率，例如由摄像区域尺寸在被摄体上的相对尺寸比来表示。即，在将作为基准的摄像区域尺寸设为1倍的情况下，对其1/2尺寸的摄像区域所拍摄的图像的放大率是2倍。

图像提取部350a根据从通道间运动矢量检测部320、帧间运动矢量检测部330a以及放大率计算部340a输出的信息，从来自同步处理部310的RGB图像中提取图像，进行抖动校正。并且，图像提取部350a将提取出的图像输出为R’G’B’图像。此外，图像提取部350a将RGB图像与R’G’B’图像的大小的比率输出到尺寸转换部370。另外，通道间运动矢量检测部320、帧间运动矢量检测部330a、放大率计算部340a以及图像提取部350a的详细情况将在后面描述。

普通光图像生成部360对在图像提取部350a中提取的R’G’B’图像实施例如已知的白平衡处理、颜色转换处理或灰度转换处理，从而生成普通光图像。

尺寸转换部370对由普通光图像生成部360取得的普通光图像实施尺寸转换处理，使其成为与提取前的RGB图像相同的尺寸，并将处理后的图像输出到显示部400。具体而言，尺寸转换部370根据从图像提取部350a输出的RGB图像与R’G’B’图像的大小的比率，实施放大/缩小处理。放大/缩小处理能够通过例如公知的双三次插值处理来实现。

3．同步处理部

图9示出上述的同步处理部310的详细结构例。该同步处理部310包括：G图像存储部311、R图像存储部312、B图像存储部313以及RGB图像生成部314。并且，G图像存储部311、R图像存储部312以及B图像存储部313分别与控制部380连接。

G图像存储部311参照从控制部380输出的识别信息，识别在光路中插入滤光器Fg的期间。具体而言，在识别信息为“1”的情况下，G图像存储部311识别为插入滤光器Fg的期间，在该期间内从摄像元件240a输出的信号被存储为G图像。

R图像存储部312参照从控制部380输出的识别信息，识别在光路中插入滤光器Fr的期间。具体而言，在识别信息为“2”的情况下，R图像存储部312识别为插入滤光器Fr的期间，在该期间内从摄像元件240a输出的信号被存储为R图像。

B图像存储部313参照从控制部380输出的识别信息，识别在光路中插入滤光器Fb的期间。具体而言，在识别信息为“3”的情况下，B图像存储部313识别为插入滤光器Fb的期间，在该期间内从摄像元件240a输出的信号被存储为B图像。并且，在G图像存储部311、R图像存储部312以及B图像存储部313分别存储了图像后，向RGB图像生成部314输出触发信号。

当从G图像存储部311、R图像存储部312以及B图像存储部313中的任意一个输出了触发信号时，RGB图像生成部314读出G图像存储部311、R图像存储部312以及B图像存储部313中存储的全部图像，生成RGB图像。RGB图像生成部314将所生成的RGB图像输出到通道间运动矢量检测部320、帧间运动矢量检测部330a以及图像提取部350a。

4．通道间运动矢量检测部

接下来，对通道间运动矢量检测部320进行详细说明。通道间运动矢量检测部320根据从同步处理部310输出的RGB图像，检测在以G图像为基准的情况下的B图像和R图像的运动矢量。

如上所述，在本实施方式中，由于按时序取得R、G、B各图像，所以在同步处理部310中取得的RGB图像中会产生色差。因此，在本实施方式中，通过块匹配处理来检测在以G图像为基准的情况下的B图像和R图像的运动矢量。并且，根据检测出的运动矢量控制图像提取部350a按照RGB的每个图像提取的图像的坐标，由此能够消除色差的问题。

另外，众所周知，在内窥镜图像中，R图像缺乏血管等的结构信息。因此，难以通过块匹配处理来检测R图像的运动矢量。因此，在本实施方式中，如下述那样，对B图像的运动矢量使用块匹配处理来进行检测，对R图像的运动矢量使用根据B图像的运动矢量来进行估计的方法。

使用图10～图13，对通道间运动矢量检测部320进行详细说明。如图10所示，在时间t-3～时间t+3的各时间，通过摄像部200取得各图像。在该情况下，图11所示的R图像、G图像、B图像作为在各时间从同步处理部310输出的RGB图像而被输出。

图12示出通道间运动矢量检测部320的详细结构例。该通道间运动矢量检测部320包括G图像选择部321a、B图像选择部322、增益乘法部323a、块匹配处理部324a以及运动矢量插值部325。块匹配处理部324a与控制部380连接。

G图像选择部321a从由同步处理部310输出的RGB图像中选出G图像，输出到增益乘法部323a以及块匹配处理部324a。B图像选择部322从由同步处理部310输出的RGB图像中选出B图像，输出到增益乘法部323a。

增益乘法部323a，对B图像的全部像素进行乘以增益的处理，使得B图像的平均信号值等于G图像的平均信号值。并且，增益乘法部323a将乘以增益后的B图像输出到块匹配处理部324a。具体而言，增益乘法部323a根据下式（1）计算所乘的增益gain的值。此处，G_ave表示G图像的图像整体的平均信号值，B_ave表示B图像的图像整体的平均信号值。

[式1]

gain=G一ave/B_avg                ...(1)

首先，块匹配处理部324a对从增益乘法部323a输出的B图像设定多个局部区域。图13示出局部区域的设定例。另外，在本实施方式中，作为图像的坐标系，使用了图13所示的x、y坐标系。x、y坐标是图像的垂直2轴坐标，例如x坐标是水平扫描方向的坐标，y坐标是垂直方向的坐标。此处，所设定的局部区域的大小或个数可以预先设定为固定值，也可以构成为由使用者通过外部I/F部500设定为任意值。

接下来，块匹配处理部324a对所设定的全部局部区域，使用例如公知的块匹配处理来计算运动矢量。并且，块匹配处理部324a将从全部局部区域中计算出的运动矢量的平均值作为B图像的通道间运动矢量（Vec_Bx,Vec_By）输出到图像提取部350a。

例如，上述块匹配处理能够通过如下方法来实现：针对基准图像的任意块，在对象图像内搜索相关度高的块的位置。在该情况下，块间的相对偏差量对应于该块的运动矢量。在本实施方式中，B图像是基准图像，G图像相当于块匹配的对象图像。

作为在块匹配中搜索相关度高的块的方法，使用例如方差SSD或绝对误差SAD等即可。在这些方法中，设基准图像中的块区域为I，设对象图像中的块区域为I’，求出与I相关度高的I’的位置。设在各块区域中的像素位置为p∈I以及q∈I’、设各像素的信号值为Lp、Lq，则SSD、SAD分别由下式（2）、（3）定义。并且，这些值越小则相关度评价为越高。

[式2]

$\mathrm{SSD}(I,I^{\′})=\underset{p\∈I,q\∈I^{\′}}{\mathrm{\Σ}}{(\mathrm{Lp}-\mathrm{Lq})}^2...\left(2\right)$

[式3]

$\mathrm{SAD}(I,I^{\′})=\underset{p\∈I,q\∈I^{\′}}{\mathrm{\Σ}}\left|\right|\mathrm{Lp}-\mathrm{Lq}\left|\right|...\left(3\right)$

此处，p和q分别具有2维的值，I和I’具有2维的区域。p∈I表示坐标p属于区域I。此外，“||m||”表示取得实数值m的绝对值的处理。

运动矢量插值部325根据从块匹配处理部324a输出的B图像的通道间运动矢量（Vec_Bx,Vec_By），估计R图像的通道间运动矢量（Vec_Rx,Vec_Ry），并输出到图像提取部350a。

使用上述的图10，对运动矢量插值部325所进行的处理进行具体说明。由于运动矢量插值部325的处理根据时间而不同，所以以图10所示的时间t、时间t+1、以及时间t+2的时刻的处理为例进行说明。

如图10所示，首先，在时间t，从同步处理部310输出的RGB图像按R图像（Rt-2）→B图像（Bt-1）→G图像（Gt）顺序来取得。因此，根据例如下式（4）来估计R图像的通道间运动矢量（Vec_Rx,Vec_Ry）。

[式4]

$\begin{array}{c}\mathrm{Vec}\_\mathrm{Rx}=2\×\mathrm{Vec}\_\mathrm{Bx}\\ \mathrm{Vec}\_\mathrm{Ry}=2\×\mathrm{Vec}\_\mathrm{By}\end{array}...\left(4\right)$

接下来，在时间t+1，由于图像是按照B图像（Bt-1）→G图像（Gt）→R图像（Rt+1）的顺序取得的，所以根据例如下式（5）来估计R图像的通道间运动矢量（Vec_Rx,Vec_Ry）。

[式5]

$\begin{array}{c}\mathrm{Vec}\_\mathrm{Rx}=\mathrm{Vec}\_\mathrm{Bx}\\ \mathrm{Vec}\_\mathrm{Ry}=\mathrm{Vec}\_\mathrm{By}\end{array}...\left(5\right)$

接下来，在时间t+2，由于图像是按照G图像（Gt）→R图像（Rt+1）→B图像（Bt+2）的顺序取得的，所以根据例如下式（6）来估计R图像的通道间运动矢量（Vec_Rx,Vec_Ry）。

[式6]

$\begin{array}{c}\mathrm{Vec}\_\mathrm{Rx}=(\mathrm{Vec}\_\mathrm{Bx})/2\\ \mathrm{Vec}\_\mathrm{Ry}=(\mathrm{Vec}\_\mathrm{By})/2\end{array}...\left(6\right)$

并且，通道间运动矢量检测部320将上述那样求出的B图像的通道间运动矢量（Vec_Bx,Vec_By）和R图像的通道间运动矢量（Vec_Rx,Vec_Ry）输出到图像提取部350a。

5．帧间运动矢量检测部

接下来，图14示出帧间运动矢量检测部330a的详细结构例。该帧间运动矢量检测部330a包括G图像选择部321b、帧存储器331、增益乘法部323B以及块匹配处理部324a。块匹配处理部324a与控制部380连接。

该帧间运动矢量检测部330a计算从同步处理部310输出的RGB图像中的G图像的帧之间的运动矢量。另外，以下，以计算RGB图像的G图像的帧间运动矢量的情况为例进行说明，其中，RGB图像是在图11所示的时间t取得的。

首先，G图像选择部321b从由同步处理部310输出的RGB图像中选出G图像Gt。接下来，G图像选择部321b提取帧存储器331中保存的G图像。在帧存储器331中，如下述那样保存有在时间t-1取得的G图像Gt-3。并且，G图像选择部321b将Gt以及Gt-3输出到增益乘法部323b。接下来，G图像选择部321b使帧存储器331中保存的内容复位，将Gt输出到帧存储器331。即，在时间t+1，帧存储器331中保存的Gt被作为1帧前的图像来使用。

增益乘法部323b对Gt的各像素进行乘以增益的处理，使得G图像Gt的平均信号值等于G图像Gt-3的平均信号值。例如，该增益通过与上述的式（1）相同的方法来计算即可。

块匹配处理部324a进行G图像Gt与G图像Gt-3的块匹配处理。另外，由于该块匹配处理与通道间运动矢量检测部320中的块匹配处理部324a相同，所以省略相应说明。在该块匹配处理中，G图像Gt对应于基准图像，G图像Gt-3对应于对象图像。并且，块匹配处理部324a将求出的运动矢量作为G图像的帧间运动矢量（Vec_Gx,Vec_Gy）输出到图像提取部350a。另外，如图11所示，在时间t+1、时间t+2，由于G图像不被更新，所以G图像的帧间运动矢量为“零”。

6．放大率计算部

接下来，使用图15对放大率计算部340a进行详细说明。放大率计算部340a根据从控制部380输出的、使用者设定的焦点位置d的信息和通常观察时的焦点位置dn的信息计算放大率Z，并将该放大率Z输出到图像提取部350a。

如上所述，在本实施方式中使用的摄像部200能够将焦点位置控制在dmin～dmax［mm］的范围内。此外，如上所述，通常观察时的焦点位置dn为dn=dmax［mm］。如图15所示，在与被摄体相距距离dn来进行摄影的情况下，摄像区域尺寸为Rn。此外，摄像部200的视角与焦点位置无关，是固定的。在该情况下，例如在将焦点位置d变更为dn/2［mm］的情况下，当摄像部200的前端部与被摄体的距离与通常观察时相比为1/2时，实现对焦。此时，由于摄像区域尺寸R为Rn/2，所以相对于通常摄影时，放大率为2倍。

即，放大率Z使用使用者设定的焦点位置d以及通常观察时的焦点位置dn，根据下式（7）来计算。在本实施方式中，放大率Z为1倍～（dmax/dmin）倍的范围内的值。

[式7]

$Z=\frac{\mathrm{dn}}{d}...\left(7\right)$

7．图像提取部

接下来，图16示出图像提取部350a的详细结构例。图像提取部350a包括区域提取部351a、提取区域控制部352a、边缘区域计算部353、运动矢量累加部354以及运动矢量存储部355。并且，边缘区域计算部353和运动矢量累加部354与控制部380连接。

该图像提取部350a根据从通道间运动矢量检测部320、帧间运动矢量检测部330a和放大率计算部340a输出的信息，决定从由同步处理部310输出的RGB图像中提取的区域的大小或坐标，提取R’G’B’图像。提取出的R’G’B’图像被输出到普通光图像生成部360。

具体而言，运动矢量累加部354使用从帧间运动矢量检测部330a输出的G图像的帧间运动矢量（Vec_Gx,Vec_Gy）和运动矢量存储部355中保存的运动矢量，计算运动矢量的累加值（Sum_Gx,Sum_Gy）和运动矢量的绝对值的平均值Ave_Gr。另外，此处，以某时间t的处理为例进行说明。

在运动矢量存储部355中，保存有从初始帧开始到时间t-1为止的G图像的帧间运动矢量的累加值（Sum_Gx_M,Sum_Gy_M）、G图像的帧间运动矢量的绝对值的累加值（Abs_Gx_M,Abs_Gy_M）和运动矢量的累加次数T_M的信息。时间t的运动矢量的累加值（Sum_Gx,Sum_Gy）根据下式（8）来计算。此外，时间t的运动矢量的累加次数T根据下式（9）来计算。此外，时间t的运动矢量的绝对值的平均值Ave_Gr根据下式（10）来计算。

[式8]

$\begin{array}{c}\mathrm{Sum}\_\mathrm{Gx}=\mathrm{Sum}\_\mathrm{Gx}\_M+\mathrm{Vec}\_\mathrm{Gx}\\ \mathrm{Sum}\_\mathrm{Gy}=\mathrm{Sum}\_\mathrm{Gy}\_M+\mathrm{Vec}\_\mathrm{Gy}\end{array}...\left(8\right)$

[式9]

T=T_M+1...(9)

[式10]

Ave_Gr=(Abs_Gx+Abs_Gy)/T...(10)

此处，上式（10）的Abs_Gx、Abs_Gy是运动矢量的绝对值的累加值，使用下式（11）来计算。

[式11]

$\begin{array}{c}\mathrm{Abs}\_\mathrm{Gx}=\mathrm{Abs}\_\mathrm{Gx}\_M+\left|\right|\mathrm{Vec}\_\mathrm{Gx}\left|\right|\\ \mathrm{Abs}\_\mathrm{Gy}=\mathrm{Abs}\_\mathrm{Gy}\_M+\left|\right|\mathrm{Vec}\_\mathrm{Gy}\left|\right|\end{array}...\left(11\right)$

并且，运动矢量累加部354将在上式（8）中计算出的运动矢量的累加值（Sum_Gx,Sum_Gy）输出到提取区域控制部352a，将在上式（10）中计算出的运动矢量的绝对值的平均值Ave_Gr输出到边缘区域计算部353。此外，运动矢量累加部354将运动矢量的累加值（Sum_Gx,Sum_Gy）、用上式（11）计算出的运动矢量的绝对值的累加值（Abs_Gx,Abs_Gy）以及运动矢量的累加次数T输出到运动矢量存储部355。另外，在输出时，运动矢量存储部355对预先保存的内容进行复位。

边缘区域计算部353根据从放大率计算部340a输出的放大率Z的信息，计算从RGB图像中提取R’G’B’图像时的边缘区域的大小。具体而言，x、y的各方向中的边缘区域的大小Space_X、Space_Y使用式（12）来计算。

[式12]

$\begin{array}{c}\mathrm{Space}\_X=Z\×\mathrm{Space}\_X_{\min }\\ \mathrm{Space}\_Y=Z\×\mathrm{Space}\_Y_{\min }\end{array}...\left(12\right)$

此处，Space_X_min和Space_Y_min是通常观察时的边缘区域的大小。Space_X_min和Space_Y_min可以预先设定为固定值，也可以构成为由使用者通过外部I/F部500设定为任意值。

这样，例如在进行放大率Z=10的放大观察时，与放大率Z=1的通常观察时相比，设定了10倍大小的边缘区域。即，实现了与放大率成比例地设定边缘区域，从而即使在放大观察时，也能够使抖动校正处理稳定地发挥作用。

此外，边缘区域计算部353参照从运动矢量累加部354输出的运动矢量的绝对值的平均值Ave_Gr，在该值大于阈值Vmax的情况下，使用下式（13）来更新根据上式（12）计算出的边缘区域的值。

[式13]

$\begin{array}{c}\mathrm{Space}\_X={\mathrm{Co}}_{\max }\×\mathrm{Space}\_X\\ \mathrm{Space}\_Y={\mathrm{Co}}_{\max }\×\mathrm{Space}\_Y\end{array}...\left(13\right)$

另一方面，在运动矢量的绝对值的平均值Ave_Gr小于阈值Vmin的情况下，使用下式（14）来更新根据上式（12）计算出的边缘区域的值。

[式14]

$\begin{array}{c}\mathrm{Space}\_X={\mathrm{Co}}_{\min }\×\mathrm{Space}\_X\\ \mathrm{Space}\_Y={\mathrm{Co}}_{\min }\×\mathrm{Space}\_Y\end{array}...\left(14\right)$

此处，Co_max是具有大于1的值的任意实数值，Co_min是具有小于1的值的任意实数值。即，在运动矢量的平均值Ave_Gr大于阈值Vmax的情况下，根据上式（13），将边缘区域更新为更大的值。另一方面，在运动矢量的平均值Ave_Gr小于阈值Vmin的情况下，根据上式（14），将边缘区域更新为更小的值。

另外，阈值Vmax、Vmin和系数Co_max、Co_min可以预先设定为固定值，也可以构成为由使用者通过外部I/F部500设定为任意值。

根据上述处理，能够根据运动矢量的绝对值的平均值Ave_Gr的大小来控制边缘区域。由此，能够根据抖动的大小实现适当的抖动校正。

例如，在食道部位存在如下特征：受心脏跳动的影响较大，作为被摄体的食道粘膜的位置变动较大。可以预知，在这种情况下，由于帧间的运动矢量变大，而不能充分得到抖动校正的效果。因此，如上式（13）所示那样，在运动矢量的绝对值的平均值Ave_Gr大于阈值Vmax的情况下，通过将边缘区域设定得大，能够使抖动校正稳定地发挥作用。

另一方面，在放大观察时，为了减轻抖动的影响，有时在摄像部200前端设置罩，在该罩与被摄体紧密接触的状态下进行观察。在该情况下，由于摄像部200与被摄体的位置关系固定，所以减轻了抖动的影响。在这样的情况下，运动矢量的绝对值的平均值Ave_Gr变小。因此，如上式（14）所示那样，通过减小边缘区域，能够扩大用于显示的区域。由此，能够向使用者提供拍摄有更大区域的显示图像。

接下来，提取区域控制部352a根据从边缘区域计算部353输出的边缘区域、从运动矢量累加部354输出的运动矢量的累加值和从通道间运动矢量检测部320输出的通道间运动矢量的信息，决定从由同步处理部310输出的RGB图像中提取R’G’B’图像时的条件。具体而言，决定提取R’G’B图像时的始点坐标和R’G’B’图像的x、y方向的像素数imx、imy，作为提取时的条件。

提取区域控制部352a使用下式（15）来计算R’G’B’图像的像素数imx、imy。此处，如图17（A）所示，XW是由摄像部200取得的图像在x方向中的像素数，YH是由摄像部200取得的图像在y方向中的像素数。

[式15]

$\begin{array}{c}\mathrm{imx}=\mathrm{XW}-2\×\mathrm{Space}\_X\\ \mathrm{imy}=\mathrm{YH}-2\×\mathrm{Space}\_Y\end{array}...\left(15\right)$

此外，提取区域控制部352a使用下式（16）来计算始点坐标。在本实施方式中，由于R’G’B’的各图像中的始点坐标不同，所以如下式（16）所示那样，对R’G’B’的各图像计算始点坐标。此处，如图17（B）所示，R’s_x、R’s_y是由摄像部200取得的图像中的R’图像的始点坐标。此外，G’s_x、G’s_y是G’图像的始点坐标，B’s_x、B’s_y是B’图像的始点坐标。

[式16]

$\left.\begin{array}{c}{R}^{\′}s\_x=\mathrm{Space}\_X-\mathrm{Sum}\_\mathrm{Gx}-\mathrm{Vec}\_\mathrm{Rx}\\ R^{\′}s\_y=\mathrm{Space}\_Y-\mathrm{Sum}\_\mathrm{Gy}-\mathrm{Vec}\_\mathrm{Ry}\\ G^{\′}s\_x=\mathrm{Space}\_X-\mathrm{Sum}\_\mathrm{Gx}\\ G^{\′}s\_y=\mathrm{Space}\_Y-\mathrm{Sum}\_\mathrm{Gy}\\ B^{\′}s\_x=\mathrm{Space}\_X-\mathrm{Sum}\_\mathrm{Gx}-\mathrm{Vec}\_\mathrm{Bx}\\ B^{\′}s\_y=\mathrm{Space}\_Y-\mathrm{Sum}\_\mathrm{Gy}-\mathrm{Vec}\_\mathrm{By}\end{array}\right\}...\left(16\right)$

此外，提取区域控制部352a对在上式（16）中计算出的始点坐标进行下式（17）所示的剪裁处理。如图18的A5所示，在提取区域超出摄像图像而不能提取图像的情况下，所述处理相当于使始点坐标平移的处理。即，如A6所示，剪裁处理后的提取区域成为摄像图像内的区域。另外，由于对于G’图像或B’图像，该剪裁处理是相同的，所以省略其说明。

[式17]

$\left.\begin{array}{c}{R}^{\&prime;}s\_x=\begin{array}{cc}0& \mathrm{if}(R^{\&prime;}s\_x<0)\\ \mathrm{XW}-\mathrm{imx}& \mathrm{elseif}(R^{\&prime;}s\_x>\mathrm{XW}-\mathrm{imx})\\ R^{\&prime;}s\_x& \mathrm{else}\end{array}\\ R^{\&prime;}s\_y=\begin{array}{cc}0& \mathrm{if}(R^{\&prime;}s\_y<0)\\ \mathrm{YH}-\mathrm{imy}& \mathrm{elseif}(R^{\&prime;}s\_y>\mathrm{YH}-\mathrm{imy})\\ R^{\&prime;}s\_y& \mathrm{else}\end{array}\end{array}\right\}...\left(17\right)$

并且，提取区域控制部352a将剪裁处理后的始点坐标以及R’G’B’图像的像素数输出到区域提取部351a。此外，提取区域控制部352a将RGB图像的像素数以及R’G’B’图像的像素数的比率zoom_x、zoom_y输出到尺寸转换部370。该比率zoom_x、zoom_y使用下式（18）来计算。

[式18]

$\begin{array}{c}\mathrm{zoom}\_x=\mathrm{XW}/\mathrm{imx}\\ \mathrm{zoom}\_y=\mathrm{YH}/\mathrm{imy}\end{array}...\left(18\right)$

区域提取部351a使用从提取区域控制部352a输出的始点坐标以及R’G’B’图像的像素数的信息，从RGB图像中提取R’G’B’图像，将该R’G’B’图像输出到普通光图像生成部360。

通过进行以上的处理，在使用变更焦点位置的光学系统进行放大观察时，能够稳定地对抖动进行校正。由此，在放大观察时，能够抑制因不能进行抖动校正而使关注区域离开视野，从而改善漏看关注区域的问题。

另外，在本实施方式中，也可以通过外部I/F部500对上述的抖动校正处理“ON/OFF”（打开/关闭）进行切换。即，在外部I/F部500中，在抖动校正功能被设为“OFF”（关闭）的情况下，该信息被送至控制部380。此时控制部380向运动矢量累加部354和边缘区域计算部353输出表示抖动校正处理被设定为“OFF”的触发信号。另外，在抖动校正处理被设定为“OFF”的期间内，始终持续输出该触发信号。

并且，在输出了“OFF”的触发信号的情况下，运动矢量累加部354将运动矢量存储部355中保存的运动矢量以及累加次数的信息全部设为“0”。此外，在输出“OFF”触发信号的期间内，从运动矢量累加部354输出的运动矢量的累加值（Sum_Gx,Sum_Gy）和运动矢量的绝对值的平均值Ave_Gr的信息被设为“0”。此外，不进行上式（9）所示的累加次数的计数。此外，在输出“OFF”触发信号的情况下，从边缘区域计算部353输出的边缘区域Space_X、Space_Y被设为“零”。

如上所述，在内窥镜诊断的放大观察中，由于存在抖动与放大率成比例变大的倾向，所以存在放大率越大则抖动校正越困难这样的课题。此外，如果抖动不能得到校正则漏看观察对象的可能性变高，产生反复如下作业的负担：在漏看观察对象时从低倍率重新开始提高倍率。

对于这一点，根据本实施方式，如图5所示，图像处理装置（图像处理部300）包括：运动信息取得部（通道间运动矢量检测部320、帧间运动矢量检测部330a）、摄像倍率计算部（放大率计算部340a）以及图像提取部350a，其中，所述图像处理装置对由可进行放大观察的摄像部200取得的图像进行处理。

并且，运动信息取得部取得运动信息，该运动信息是表示摄像部200相对于被摄体的相对运动的信息。摄像倍率计算部计算摄像部200的摄像倍率Z（放大率）。图像提取部350a从由摄像部200取得的摄像图像中提取特定区域中的图像作为提取图像。如上述那样，在图17（B）中，图像提取部350a根据运动信息设定摄像图像中的特定区域的位置（R’s_x,R’s_y等）。此外，如上述那样，在图17（A），图像提取部350a根据摄像倍率Z设定边缘区域的大小Space_X、Space_Y，其中，所述边缘区域的大小是从摄像图像中除去特定区域以外的区域的大小。

这样，通过根据放大率设定边缘区域，能够根据放大率变更决定摄像图像中的特定区域的位置时的边缘。由此，能够提高在放大观察中对抖动的追踪性，使抖动校正稳定地发挥作用。因此，通过提高对抖动校正的追踪性，能够降低漏看观察对象的可能性。

此处，运动信息是表示不同时机间被摄体与摄像部200的相对运动的信息，例如是表示相对位置、移动距离、速度或运动矢量等的信息。在本实施方式中，例如取得G图像与B图像之间的通道间运动矢量，作为该G图像的摄影时机与B图像的摄影时机之间的运动信息。另外在本实施方式中，可以不限定于根据这样的图像而求出的运动信息，也可以使用通过运动传感器等检测到的移动距离或速度等运动信息。

此外，在本实施方式中，如上述那样，在上式（12）中，图像提取部350a将边缘区域的大小Space_X、Space_Y设定为与摄像倍率Z成比例的大小。更具体地，图像提取部350a将边缘区域的大小Space_X、Space_Y设定为对边缘区域大小的基准即基准尺寸Space_X_min、Space_Y_min乘以摄像倍率Z后的尺寸。

这样，由于能够随着放大率的增大而将边缘区域设定为大的尺寸，所以能够随着放大率增大而追踪大的抖动。由此，与在图4等中所述的边缘区域尺寸为固定的比较例相比，在放大观察中能够对更大的抖动进行校正。

另外，在本实施方式中，以边缘区域的大小Space_X、Space_Y与摄像倍率Z线性成比例的情况为例进行了说明，但是本实施方式并非限定于此。例如，在本实施方式中，也可以随着摄像倍率Z增大，使边缘区域的大小Space_X、Space_Y非线性地增大。

此外，在本实施方式中，如在上式（13）、（14）中所述那样，图像提取部350a根据运动信息更新边缘区域的大小Space_X、Space_Y，其中，所述边缘区域的大小被设定为基准尺寸Space_X_min、Space_Y_min乘以摄像倍率Z而得到的尺寸。此处，所谓更新是指将变量的值重新设定为新值，例如，图16所示的边缘区域计算部353包括未图示的存储部，覆写该存储部中的边缘区域大小的存储区域中存储的值。

这样，能够根据被摄体与摄像部200之间的相对运动来调整边缘区域的大小Space_X、Space_Y。由此，在抖动量增大的情况下，能够增大边缘区域，提高对抖动校正的追踪性。

具体而言，在本实施方式中，图像提取部350a根据规定期间（与例如上式（9）所示的累加次数T对应的期间）内的运动信息的平均值Ave_Gr，更新边缘区域的大小Space_X、Space_Y。

更具体地讲，在运动信息的平均值Ave_Gr大于第1阈值Vmax的情况下，图像提取部350a将边缘区域的大小更新为与根据摄像倍率Z设定的大小相比更大的尺寸Co_max×Space_X、Co_max×Space_Y。另一方面，在运动信息的平均值Ave_Gr小于第2阈值Vmin的情况下，将边缘区域的大小更新为与根据摄像倍率Z设定的大小相比更小的尺寸Co_min×Space_X、Co_min×Space_Y。

这样，能够根据抖动量调整边缘区域的大小。即，在抖动量大于阈值的情况下，通过增大边缘区域的尺寸，能够增大可校正的抖动量。另一方面，在抖动量小于阈值的情况下，通过减小边缘区域的尺寸，能够扩大显示区域而增加提供给使用者的信息量。

此外，在本实施方式中，运动信息是表示摄像图像中的被摄体的运动的运动矢量Vec_Gx、Vec_Gy。并且，如在上式（10）、（11）中所述那样，图像提取部350a根据规定期间内的运动矢量的绝对值的平均值Ave_Gr来更新边缘区域的大小Space_X、Space_Y。

这样，通过使用运动矢量的绝对值，能够将运动矢量的大小作为抖动量，并根据该抖动量的大小设定边缘区域尺寸。

此外，在本实施方式中，如在图18中所述那样，在判定为特定区域的至少一部分伸出到摄像图像的外侧的情况下，图像提取部350a重新将该特定区域设定为摄像图像内。更具体地讲，在运动矢量的大小超过边缘区域的大小的情况下，图像提取部350a将特定区域的位置重新设定为边缘区域内。例如，以R’s_x为例，则如上式（17）所示，在R’s_x＜0、区域左端伸出的情况下，设定为R’s_x=0。另一方面，在R’s_x＞2×Space_X（=XW-imx）、区域右端伸出的情况下，设定为R’s_x=2×Space_X。

这样，在要提取的区域伸出到摄像图像外的情况下，能够进行剪裁处理。即，即使在成为不能进行抖动校正的抖动量的情况下，也能够将特定区域设定在能够提取显示图像的位置，进行图像显示。

此外，如图5所示，本实施方式的图像处理装置包括取得摄像部200（会聚透镜230）的焦点位置信息的焦点位置信息取得部（控制部380）。如上所述，在图15中，通过变更摄像部200与被摄体之间的距离来变更摄像倍率Z。在该情况下，摄像倍率计算部根据焦点位置信息计算摄像倍率Z。具体而言，摄像倍率计算部根据基准焦点位置dn与焦点位置信息表示的焦点位置d之比dn/d来计算摄像倍率Z。

这样，通过使摄像部200前端接近被摄体，在对被摄体进行放大观察这种类型的内窥镜装置中，能够根据摄像部200的焦点位置信息求出其摄像倍率Z。

此外，在本实施方式中，如在图10和图11中所述那样，运动信息取得部根据在不同的时间（t-1、t、t+1、…）取得的至少2个摄像图像，取得表示该摄像图像中的被摄体的运动的运动矢量（帧间运动矢量、通道间运动矢量）。

具体而言，摄像部200按时序依次取得第1颜色信号～第3颜色信号的图像（R图像、G图像、B图像），作为摄像图像。并且，运动信息取得部取得表示该第1颜色信号～第3颜色信号的图像之间的被摄体的运动的运动矢量，作为通道间运动矢量（例如Vec_Bx,Vec_By）。图像提取部350a根据该通道间运动矢量，从第1颜色信号～第3颜色信号的图像中提取提取图像。

这样，能够使用摄像图像之间的运动矢量作为摄像部200与被摄体之间的相对运动信息进行抖动校正。此外，在帧顺序方式的内窥镜装置中，能够对通道间的抖动进行校正，抑制帧顺序导致的色差。

此外，如图5所示，本实施方式的图像处理装置包括尺寸转换部370，在提取图像的图像尺寸根据摄像倍率发生变化的情况下，所述尺寸转换部370将该提取图像的图像尺寸转换为能够在显示部400中显示的、规定的图像尺寸（规定的像素数。例如，与摄像图像相同的尺寸）。具体而言，摄像部200取得一系列的动态图像作为摄像图像，尺寸转换部370将从该一系列的动态图像中提取出的一系列的提取图像转换为相同的图像尺寸。

这样，由于能够将尺寸随着放大率而变动的提取图像转换为固定的图像尺寸，所以能够不依存于放大率而显示固定的图像尺寸的显示图像。

8．内窥镜装置的第2结构例

作为根据摄像部200的视场角计算放大率的情况下的结构例，图19示出内窥镜装置的第2结构例。该内窥镜装置包括光源部100、摄像部200、图像处理部300、显示部400以及外部I/F部500。另外，以下，对于与在图5等中所述的构成要素相同的构成要素，标以相同的标号，并适当省略说明。

光源部100包括产生白色光的白色光源110和用于使该白色光会聚于光导纤维210的透镜130。

摄像部200包括光导纤维210、照明透镜220、会聚透镜270、摄像元件240b、存储器250。摄像元件240b是具有拜耳排列的滤色器r、g、b的摄像元件。如图20所示，r滤光器具有透射580～700nm的光的分光特性，g滤光器具有透射480～600nm的光的分光特性，b滤光器具有透射400～500nm的光的分光特性。

会聚透镜270能够对视角进行变动控制，例如能够将视角控制在φmin～φmax［°］的范围内。例如，通常观察时的视角为φn=φmax［°］。该视角可由使用者通过外部I/F部500设定为任意值。并且，使用者通过外部I/F部500设定的视角φ的信息被送至控制部380，控制部380根据该视角信息控制会聚透镜270，变更视角。

另外，该视角的控制范围φmin～φmax［°］根据所连接的镜头而不同。如上所述，控制部380通过参照存储器250中保存的各镜头固有的识别编号，能够识别所连接的镜头的种类，取得视角的控制范围φmin～φmax［°］和通常观察时的视角φn［°］的信息。

控制部380将与放大率相关的信息输出到下述的放大率计算部340b。该信息是由使用者设定的视角φ的信息、通常观察时的视角φn的信息以及视角的最小值φmin的信息。

图像处理部300包括插值处理部390、帧间运动矢量检测部330a、放大率计算部340b、图像提取部350b、普通光图像生成部360、尺寸转换部370以及控制部380。并且，插值处理部390、帧间运动矢量检测部330a、放大率计算部340b、图像提取部350b、普通光图像生成部360以及尺寸转换部370分别与控制部380连接。另外，由于帧间运动矢量检测部330a、普通光图像生成部360以及尺寸转换部370的处理与在图5等中说明的处理相同，所以省略其说明。

插值处理部390对由摄像元件240b取得的拜耳图像，通过实施插值处理来生成RGB图像。例如，作为插值处理，使用公知的双三次插值处理即可。并且，插值处理部390将生成的RGB图像输出到图像提取部350b以及帧间运动矢量检测部330a。

放大率计算部340b使用从控制部380输出的、使用者所设定的视角φ的信息和通常观察时的视角φn的信息来计算放大率Z’，并将该放大率Z’输出到图像提取部350b。具体而言，如图21所示，在从被摄体到摄像部200的距离相同的情况下，视角φn下的摄像区域尺寸与视角φ下的摄像区域尺寸之比为放大率Z’。即，放大率Z’根据下式（19）来计算。在本实施方式中，放大率Z’的范围为1倍～｛tan（φn/2）/tan（φmin/2）｝倍。

[式19]

$Z^{\&prime;}=\frac{\tan (\mathrm{\&phi;n}/2)}{\tan (\mathrm{\&phi;}/2)}...\left(19\right)$

图像提取部350b根据从帧间运动矢量检测部330a和放大率计算部340b输出的信息，从插值处理部390输出的RGB图像中提取特定的区域（提取区域）中的图像作为R’G’B’图像。

图22示出图像提取部350b的详细结构例。该图像提取部350b包括区域提取部351b、提取区域控制部352b、边缘区域计算部353、运动矢量累加部354以及运动矢量存储部355。边缘区域计算部353和运动矢量累加部354连接控制部380。另外，由于边缘区域计算部353和运动矢量累加部354以及运动矢量存储部355的处理与在图16等中所述的处理相同，所以省略其说明。

提取区域控制部352b根据边缘区域Space_X、Space_Y以及运动矢量的累加值（Sum_Gx,Sum_Gy）的信息，决定从RGB图像中提取R’G’B’图像时的始点坐标和像素数imx、imy。R’G’B’图像的像素数imx、imy与在图16等中所述的方法同样，使用上式（15）来计算。

始点坐标使用下式（20）来计算。在本实施方式中，由于同时取得RGB各图像，所以不会产生上述那样的色差的问题。因此，在本实施方式中，不需要对R’G’B’

的每一图像计算始点坐标，计算出的始点坐标仅有1种（I’s_x,I’s_y）。

[式20]

$\begin{array}{c}{I}^{\&prime;}s\_x=\mathrm{Space}\_X-\mathrm{Sum}\_\mathrm{Gx}\\ I^{\&prime;}s\_y=\mathrm{Space}\_Y-\mathrm{Sum}\_\mathrm{Gy}\end{array}...\left(20\right)$

另外，剪裁处理根据与上式（17）相同的方法，对在上式（20）中计算出的始点坐标（I’s_x,I’s_y）进行。此外，提取区域控制部352b根据与上式（18）相同的方法，计算RGB图像的像素数与R’G’B’图像的像素数的比率zoom_x、zoom_y，并将该比率zoom_x、zoom_y输出到尺寸转换部370。

通过进行以上的处理，即使在使用变更视角的光学系统进行放大观察时，也能够稳定地对抖动进行校正。此外，也能够改善在放大观察时漏看关注区域的课题。此外，在本实施方式中，同时取得RGB各图像。由此，由于不需要考虑在图5等中所述的色差的问题，所以能够简化处理。此外，由于不需要计算通道间运动矢量，所以能够减少帧存储器。

根据上述实施方式，如图19所示，包括取得摄像部200的视角信息的视角信息取得部（控制部380）。并且，摄像倍率计算部（放大率计算部340b）根据该视角信息计算摄像倍率Z’。更具体地，如在图21中所述那样，在设基准视角为φn、设视角信息表示的视角为φ的情况下，摄像倍率计算部根据tan（φn/2）与tan（φ/2）之比来计算摄像倍率Z’。

这样，在能够通过摄像部200的变焦功能（例如光学变焦）对被摄体进行放大观察的内窥镜装置中，能够根据摄影时的视角信息求出摄像部200的摄像倍率Z’。

9．内窥镜装置的第3结构例

图23示出内窥镜装置的第3结构例，作为根据来自位置传感器的信息和运动矢量来计算放大率的情况下的结构例。该内窥镜装置包括光源部100、摄像部200、图像处理部300、显示部400以及外部I/F部500。另外，以下，对于与图5等中所述的构成要素相同的构成要素，标以相同的标号，并适当省略说明。

摄像部200包括光导纤维210、照明透镜220、会聚透镜290、摄像元件240b、存储器250以及位置传感器280。另外，摄像元件240b和存储器250与在图19等中说明的构成要素相同。

位置传感器280是用于检测摄像部前端的移动量的传感器。例如，位置传感器280由检测3方向的平移移动量的加速度传感器构成，输出相对于被摄体表面平移的摄像部前端的移动量。例如，移动量是摄像部前端的移动距离或运动矢量。并且，位置传感器280与控制部380连接，向控制部380输出与由位置传感器280检测出的移动量相关的信息。另外，在本实施方式中，位置传感器280也可以包括3轴的陀螺仪传感器，输出摄像部前端的旋转角度作为移动量。

图像处理部300包括插值处理部390、帧间运动矢量检测部330b、放大率计算部340c、图像提取部350b、普通光图像生成部360、尺寸转换部370以及控制部380。另外，由于图像提取部350b、普通光图像生成部360、尺寸转换部370以及插值处理部390的处理与在图19等所述的处理相同，所以省略其说明。

图24示出帧间运动矢量检测部330b的详细结构例。该帧间运动矢量检测部330b包括G图像选择部321b、帧存储器331、增益乘法部323b以及块匹配处理部324b。块匹配处理部324b以外的处理与在图5等中所述的处理相同。

与在图13等中所述的方法同样，块匹配处理部324b检测全部局部区域的运动矢量，并将该局部区域的运动矢量的平均值输出到图像提取部350b。此外，块匹配处理部324b将全部局部区域坐标和运动矢量的信息，输出到放大率计算部340c。例如，局部区域坐标取为各局部区域的中心坐标即可。

接下来，对放大率计算部340c进行说明。在内窥镜诊断的放大观察中，通常采用通过使镜头靠近作为被摄体的生物体来提高放大率的方法。在该情况下，只要知道摄像部200的前端与被摄体之间的距离，就能够计算放大率。

因此，放大率计算部340c根据从控制部380输出的摄像部200前端的移动量（例如运动矢量）、从帧间运动矢量检测部330b输出的局部区域坐标和该局部区域的运动矢量的信息，估计摄像部200的前端与被摄体之间的平均距离，计算放大率。

图25示出放大率计算部340c的详细结构例。该放大率计算部340c包括平均距离估计部341、放大率估计部342以及放大率存储部343。

平均距离估计部341根据从控制部380输出的摄像部200前端的移动量、从帧间运动矢量检测部330b输出的局部区域坐标和该局部区域的运动矢量的信息，估计摄像部200的前端与被摄体之间的平均距离。以下，以计算某时间t的平均距离的情况为例进行说明。

从帧间运动矢量检测部330b输出运动矢量和局部区域坐标，其中，所述运动矢量和局部区域坐标是根据在时间t和时间t的1帧前的时间即时间t-1取得的图像计算出的。此外，从控制部380输出在时间t和时间t-1之间的摄像部200前端的移动量。具体而言，如图26所示那样，输出X、Y的2轴的移动量作为移动量。

此外，设从控制部380输出的移动量的信息为（TX,TY）。（TX,TY）是摄像部200前端从时间t-1开始到时间t为止的移动量。根据该移动量，确定各时间（时间t、时间t-1）的摄像部200前端的相对位置关系。此外，取得在时间t以及时间t-1取得的各图像之间的运动矢量。

这样，由于求出了各时间的摄像部200前端的相对位置关系与在各时间取得的图像的对应关系，所以使用公知的三角测量原理，能够估计出摄像部200的前端与被摄体之间的平均距离diff_val。

使用图27（A）、图27（B），对平均距离diff_val的估计进行详细说明。另外，为了简单化，以TY=0的情况为例进行说明。此外，视角不依赖于焦点位置而为固定，放大率根据摄像部200前端与被摄体之间的距离而变化。

如图27（A）所示，在时间t-1，被摄体上的点PT拍射为图像上的对应点PT’。如图27（B）的E1所示，从时间t-1到t之间，使对应点PT’在图像上移动距离TX’。由于摄像部200的视角φ是已知的，所以根据图像上的距离TX’可求出E2所示的角度θ。这样，如E3所示那样，确定以被摄体上的距离TX为底边的直角三角形，求出从摄像部200前端到被摄体的距离diff_val。

另外，在从控制部380输出的移动量的信息为（TX,TY）=（0,0）的情况下，不能估计出摄像部200的前端与被摄体之间的平均距离diff_val。在该情况下，向放大率估计部342输出表示不能估计平均距离的触发信号。

放大率估计部342的处理根据平均距离估计部341输出的信息而不同。即，在从平均距离估计部341输出平均距离diff_val的情况下，放大率估计部442使用下式（21）来估计放大率Z”。

[式21]

$Z^{\&prime;\&prime;}=\frac{\mathrm{diff}\_\mathrm{val}}{\mathrm{diff}\_\mathrm{org}}...\left(21\right)$

另外，距离diff_org是通常观察时的摄像部200的前端与被摄体之间的平均距离。例如，可以将diff_org设定为通常观察时的焦点位置dn，也可以由使用者通过外部I/F部500设定为任意值。

并且，放大率估计部342将使用上式（21）计算出的放大率Z”输出到图像提取部350c和放大率存储部343。将1帧前的时点的放大率Z”保存在放大率存储部343中。

另一方面，在平均距离估计部341输出了触发信号的情况下，放大率估计部342将放大率存储部343中保存的内容作为放大率Z”输出到图像提取部350c。

通过进行以上的处理，即使在使用变更焦点位置的光学系统进行放大观察时、没有如第1实施方式所示那样的焦点位置检测单元的情况下，也能够稳定地对抖动进行校正。此外，也能够改善在放大观察时漏看关注区域的问题。

根据上述实施方式，如图23所示，包括取得摄像部200的移动量信息的移动量信息取得部（取得来自位置传感器280的移动量信息的控制部380）。并且，摄像倍率计算部（放大率计算部340c）根据该移动量信息以及运动信息来计算摄像倍率Z”。更具体地，如在图27（B）中所述那样，摄像倍率计算部根据运动信息（距离TX’）和移动量信息（距离TX）来计算摄像部200与被摄体之间的距离diff_val，并根据该距离diff_val与基准距离diff_org之比来计算摄像倍率Z”。

这样，在通过使摄像部200前端靠近被摄体来对被摄体进行放大观察这种类型的内窥镜装置中，能够根据由运动传感器检测到的摄像部200的移动量求出摄像部200的摄像倍率Z”。

10．软件

在上述本实施方式中，构成图像处理部300的各部通过硬件构成，但是并不限于此。例如，也可以构成为由CPU进行各部的处理，通过CPU执行程序，从而作为软件来实现。或者，也可以用软件来构成各部所进行的处理的一部分。另外，在本实施方式中，不仅对于实时摄影的动态图像的抖动校正，对于使用胶囊内窥镜等摄像装置预先取得的图像，也可以进行软件处理。

在使摄像部独立构成、而使图像处理部300的各部所进行的处理作为软件来实现的情况下，能够使用工作站或个人计算机等公知的计算机系统作为图像处理装置。因此，能够以如下方式来实现：预先准备用于实现图像处理部300的各部所进行的处理的程序（图像处理程序），由计算机系统的CPU来执行该图像处理程序。

图28是示出本变形例中的计算机系统600的结构的系统结构图，图29是示出该计算机系统600中的主体部610的结构的框图。如图28所示，计算机系统600具有：主体部610；显示器620，其用于根据主体部610的指令在显示画面621上显示图像等信息；键盘630，其用于向该计算机系统600输入各种信息；鼠标640，其用于指定显示器620的显示画面621上的任意的位置。

此外，如图29所示，该计算机系统600中的主体部610具有：CPU611、RAM612、ROM613、硬盘驱动器（HDD）614、接受CD-ROM660的CD-ROM驱动器615、以可拆装方式连接USB存储器670的USB端口616、显示器620、连接键盘630以及鼠标640的I/O接口617、用于连接局域网或者广域网（LAN/WAN）N1的LAN接口618。

此外，在该计算机系统600中，连接有用于连接互联网等公共线路N3的调制解调器650，并且，经由LAN接口618以及局域网或者广域网N1连接有作为其它计算机系统的个人计算机（PC）681、服务器682、打印机683等。

并且，该计算机系统600参照规定的记录介质中记录的图像处理程序（例如图30），读出并执行用于实现下述处理步骤的图像处理程序，由此实现图像处理装置。此处，所谓规定的记录介质，除了CD-ROM660和USB存储器670以外，还包括记录计算机系统600可读取的图像处理程序的所有记录介质，例如包括MO盘、DVD盘、软盘（FD）、光磁盘以及IC卡等在内的“可移动的物理介质”；计算机系统600内外所具有的HDD614、RAM612以及ROM613等“固定物理介质”；经由调制解调器650连接的公共线路N3、其它计算机系统（PC）681或服务器682所连接的局域网或者广域网N1等那样，在程序发送时临时存储程序的“通信介质”等。

即，图像处理程序以计算机可读取的方式记录在“可移动的物理介质”、“固定用的物理介质”、“通信介质”等记录介质中，计算机系统600从这些记录介质中读出并执行图像处理程序，由此实现图像处理装置。另外，图像处理程序不限于由计算机系统600来执行，在由其它计算机系统（PC）681或者服务器682来执行图像处理程序的情况下、或者在它们协作来执行图像处理程序的情况下，同样也可以应用本发明。

作为用软件来构成各部所进行的处理的一部分的情况下的一例，使用图30的流程图来说明针对由摄像部取得的图像，用软件来实现图像处理部300的处理的情况下的处理步骤。

如图30所示，在该处理开始后，取得按时序拍摄的R图像、G图像、B图像（步骤S1）。接下来，对这些图像进行同步处理（步骤S2），根据同步处理后的图像检测通道间运动矢量（步骤S3）。接下来，检测帧间运动矢量（步骤S4），计算放大率（步骤S5）。接下来，根据通道间运动矢量、帧间运动矢量以及放大率，计算边缘区域的尺寸和提取区域的始点坐标（步骤S6），提取R’G’B’图像（步骤S7）。接下来，根据提取出的R’G’B’图像，生成普通光图像（步骤S8），对该普通光图像进行尺寸转换处理，进行在显示部上显示处理后的图像的控制（步骤S9），结束处理。

此外，本实施方式也可以应用于记录有实现本实施方式的各部（通道间运动矢量检测部、帧间运动矢量检测部、放大率计算部、图像提取部等）的程序代码的计算机程序产品。

例如，计算机程序产品是记录有程序代码的信息存储介质（DVD等光盘介质、硬盘介质、存储器介质等）、记录有程序代码的计算机、记录有程序代码的互联网系统（例如、包括服务器和客户端终端的系统）等、嵌入有程序代码的信息存储介质、装置、设备或者系统等。在该情况下，将本实施方式的各构成要素或各处理过程通过各模块来安装，将由这些所安装的模块构成的程序代码记录在计算机程序产品中。

以上，对应用本发明的实施方式及其变形例进行了说明，但是本发明不限于各实施方式或其变形例的原样，在实施阶段中，在不脱离发明主旨的范围内，能够对构成要素进行变形来具体化。此外，通过适当组合在上述各实施方式或变形例中公开的多个构成要素，也能够形成各种发明。例如，也可以从各实施方式或变形例中记载的全部构成要素中削减几个构成要素。此外，也可以适当组合在不同的实施方式或变形例中说明的构成要素。这样，在不脱离发明主旨的范围内，可以进行各种变形或应用。

此外，在说明书或者附图中，关于至少一次与更广义或者同义的不同术语（摄像倍率、移动量、提取区域等）一起被记述的术语（放大率、平移移动量、特定区域等），在说明书或者附图任何地方，这些不同的用语可以替换。

标号说明

100光源部、110白色光源、120旋转滤光器、

120a电动机、130透镜、200摄像部、

210光导纤维、220照明透镜、230会聚透镜、

240a,240b摄像元件、250存储器、270会聚透镜、

280位置传感器、290会聚透镜、300图像处理部、

310同步处理部、311～313图像存储部、314图像生成部、

320通道间运动矢量检测部、

321a,321bG图像选择部、322B图像选择部、

323a,323b增益乘法部、

324a,324b块匹配处理部、

325运动矢量插值部、

330a,330b帧间运动矢量检测部、

331帧存储器、340a,340b,340c放大率计算部、

341平均距离估计部、342放大率估计部、343放大率存储部、

350a,350b,350c图像提取部、

351a,351b区域提取部、352a,352b提取区域控制部、

353边缘区域计算部、354运动矢量累加部、

355运动矢量存储部、360普通光图像生成部、

370尺寸转换部、380控制部、390插值处理部、

400显示部、442放大率估计部、500外部I/F部、

600计算机系统、610主体部、611CPU、

612RAM、613ROM、614HDD、

615CD-ROM驱动器、616USB端口、

617I/O接口、618LAN接口、

620显示器、621显示画面、630键盘、

640鼠标、650调制解调器、660CD-ROM、

670USB存储器、681PC、682服务器、683打印机、

Ave_Gr运动矢量的绝对值的平均值、Co_max,Co_min系数、

Fr,Fg,Fb滤色器、Gt G图像、

N1广域网、N3公共线路、Q1、Q2位移量、

R,Rn摄像区域尺寸、

Space_X,Space_Y边缘区域的大小、

Space_X_min,Space_Y_min基准尺寸、T累加次数、

TX移动量、Vec_Gx,Vec_Gy帧间运动矢量、

Vmax第1阈值、Vmin第2阈值、Z,Z’,Z”放大率、

d焦点位置、diff_org基准距离、diff_val平均距离、

dmin～dmax焦点位置的设定范围、dn基准焦点位置、

r,g,b摄像元件的滤色器、t时间、

zoom_x,zoom_y比率、

φ视角、φmin-φmax视角的设定范围、φn基准视角

Claims (24)

1.一种图像处理装置，其对由能够进行放大观察的摄像部取得的图像进行处理，其特征在于，所述图像处理装置包括：

取得运动信息的运动信息取得部，所述运动信息是表示所述摄像部相对于被摄体的相对运动的信息；

摄像倍率计算部，其计算所述摄像部的摄像倍率；以及

图像提取部，其从由所述摄像部取得的摄像图像中提取特定区域的图像作为提取图像，

所述图像提取部根据所述运动信息设定所述摄像图像中的所述特定区域的位置，并且，根据所述摄像倍率以及所述运动信息设定边缘区域的大小，所述边缘区域的大小是从所述摄像图像中除去所述特定区域以外的区域的大小。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像提取部将所述边缘区域的大小设定为与所述摄像倍率成比例的大小。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述图像提取部将所述边缘区域的大小设定为作为所述边缘区域的大小的基准的基准尺寸乘以所述摄像倍率而得到的尺寸。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述图像提取部根据所述运动信息更新被设定为所述基准尺寸乘以所述摄像倍率而得到的尺寸的所述边缘区域的大小。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述图像提取部根据规定期间内的所述运动信息的平均值来更新所述边缘区域的大小。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述图像提取部在所述运动信息的平均值大于第1阈值的情况下，将所述边缘区域的大小更新为比根据所述摄像倍率设定的大小更大的尺寸，

所述图像提取部在所述运动信息的平均值小于第2阈值的情况下，将所述边缘区域的大小更新为比根据所述摄像倍率设定的大小更小的尺寸。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述图像提取部根据所述运动信息更新根据所述摄像倍率设定的所述边缘区域的大小。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述运动信息是表示所述摄像图像中的所述被摄体的运动的运动矢量，

所述图像提取部根据规定期间内的所述运动矢量的绝对值的平均值更新所述边缘区域的大小。

9.根据权利要求1所述的图像处理装置，其特征在于，

所述图像提取部在判定为所述特定区域的至少一部分伸出到所述摄像图像的外侧的情况下，将所述特定区域重新设定在所述摄像图像内。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述运动信息是表示所述摄像图像中的所述被摄体的运动的运动矢量，

所述图像提取部在所述运动矢量的大小超过所述边缘区域的大小的情况下，将所述特定区域的位置重新设定在所述边缘区域内。

11.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括取得所述摄像部的焦点位置信息的焦点位置信息取得部，

在由于所述摄像部与所述被摄体之间的距离变更而所述摄像倍率变更的情况下，所述摄像倍率计算部根据所述焦点位置信息计算所述摄像倍率。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述摄像倍率计算部根据基准焦点位置与所述焦点位置信息表示的焦点位置之比计算所述摄像倍率。

13.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括取得所述摄像部的视角信息的视角信息取得部，

所述摄像倍率计算部根据所述视角信息计算所述摄像倍率。

14.根据权利要求13所述的图像处理装置，其特征在于，

在设基准视角为φn、设所述视角信息表示的视角为φ的情况下，所述摄像倍率计算部根据tan（φn/2）与tan（φ/2）之比计算所述摄像倍率。

15.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置包括取得所述摄像部的移动量信息的移动量信息取得部，

所述摄像倍率计算部根据所述运动信息和所述移动量信息计算所述摄像倍率。

16.根据权利要求15所述的图像处理装置，其特征在于，

所述摄像倍率计算部根据所述运动信息和所述移动量信息计算所述摄像部与所述被摄体之间的距离，根据计算出的距离与基准距离之比计算所述摄像倍率。

17.根据权利要求1所述的图像处理装置，其特征在于，

所述运动信息取得部根据在不同时间取得的至少2个所述摄像图像，取得表示所述摄像图像中的所述被摄体的运动的运动矢量。

18.根据权利要求17所述的图像处理装置，其特征在于，

所述摄像部按时序依次取得第1颜色信号～第3颜色信号的图像作为所述摄像图像，

所述运动信息取得部取得表示所述第1颜色信号～第3颜色信号的图像之间的被摄体的运动的运动矢量作为通道间运动矢量，

所述图像提取部根据所述通道间运动矢量，从所述第1颜色信号～第3颜色信号的图像中提取所述提取图像。

19.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括尺寸转换部，在所述提取图像的图像尺寸根据所述摄像倍率而变化的情况下，所述尺寸转换部将所述提取图像的图像尺寸转换为能够在显示部中显示的规定的图像尺寸。

20.根据权利要求19所述的图像处理装置，其特征在于，

所述摄像部取得一系列的动态图像作为所述摄像图像，

所述尺寸转换部将从所述一系列的动态图像中提取出的一系列的提取图像转换为相同的图像尺寸。

21.一种内窥镜装置，其特征在于，

所述内窥镜装置包括权利要求1所述的图像处理装置。

22.根据权利要求21所述的内窥镜装置，其特征在于，包括：

尺寸转换部，其在所述提取图像的图像尺寸根据所述摄像倍率而变化的情况下，将所述提取图像的图像尺寸转换为能够在显示部中显示的规定的图像尺寸；以及

显示部，其显示转换为所述规定的图像尺寸的提取图像。

23.一种图像处理程序，其特征在于，

所述图像处理程序使计算机作为如下部件发挥作用：

取得运动信息的运动信息取得部，其中，所述运动信息是表示所述摄像部相对于被摄体的相对运动的信息；

摄像倍率计算部，其计算所述摄像部的摄像倍率；以及

图像提取部，其从由所述摄像部取得的摄像图像中提取特定区域的图像作为提取图像，

所述图像提取部根据所述运动信息设定所述摄像图像中的所述特定区域的位置，并且，根据所述摄像倍率以及所述运动信息设定边缘区域的大小，所述边缘区域的大小是从所述摄像图像中除去所述特定区域以外的区域的大小。

24.一种图像处理方法，其特征在于，

取得运动信息，该运动信息是表示所述摄像部相对于被摄体的相对运动的信息，

计算所述摄像部的摄像倍率，

从由所述摄像部取得的摄像图像中提取特定区域的图像作为提取图像，

根据所述运动信息设定所述摄像图像中的所述特定区域的位置，并且，根据所述摄像倍率以及所述运动信息设定边缘区域的大小，所述边缘区域的大小是从所述摄像图像中除去所述特定区域以外的区域的大小。

Images