CN103269636B - 内窥镜装置以及图像处理方法 - Google Patents

内窥镜装置以及图像处理方法 Download PDF

Info

Publication number
CN103269636B
CN103269636B CN201180061990.4A CN201180061990A CN103269636B CN 103269636 B CN103269636 B CN 103269636B CN 201180061990 A CN201180061990 A CN 201180061990A CN 103269636 B CN103269636 B CN 103269636B
Authority
CN
China
Prior art keywords
image
amplitude
frequency band
predetermined frequency
photographed images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180061990.4A
Other languages
English (en)
Other versions
CN103269636A (zh
Inventor
佐佐木宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103269636A publication Critical patent/CN103269636A/zh
Application granted granted Critical
Publication of CN103269636B publication Critical patent/CN103269636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computing Systems (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)

Abstract

本发明提供在放大观察中能够按时序显示与对焦状态等同的模糊量小且已抑制噪声增大的显示图像的内窥镜装置以及图像处理方法等。内窥镜装置包含：图像取得部（图像构成处理部（310）），其按时序取得与通常观察状态相比光学系统的放大倍率是高倍率的放大观察状态下的摄像图像；模糊量信息提取部（纹理提取部（320）），其从上述放大观察状态下的上述摄像图像中提取模糊量信息；以及模糊量校正部（纹理校正量计算部（340）、纹理校正部（360）以及合成部（370）），其根据所提取的上述模糊量信息来校正上述摄像图像。

Description

内窥镜装置以及图像处理方法
技术领域
本发明涉及内窥镜装置以及图像处理方法等。
背景技术
一直以来，在内窥镜诊断中具有希望提高体腔内的病变检测精度这样的要求，普遍公知具有放大光学系统的内窥镜(以后，称为放大内窥镜)，该放大光学系统通过以相当于显微镜的倍率放大观察病变部与正常部在组织上的差异来达成检测精度的提高。
这样的放大内窥镜具有几十倍至几百倍的倍率，通过与基于染色散布或窄频带照明光的血管强调图像(还称为NBI图像)的并用，可观察粘膜表层的细微构造或血管运行的图案。在病变部和正常部中这些图案表示差异的情况已为人所知，并成为病变诊断的1个判定基准。
现有技术文献 
专利文献
【专利文献1】日本特开平10-165365号公报
【专利文献2】日本特开2003-140030号公报
发明内容
发明所要解决的问题
但是，当进行这样的放大观察时，随着到达高倍率，景深与通常观察时相比变得非常窄。这时的现状是，难以将内窥镜插入部(以后，记作镜体或者摄像部)相对于被摄体的前端位置持续保持在对焦范围内，为了持续观察始终保持对焦状态的图像需要相当的熟练度。
当与这种放大观察时的对焦相伴的镜体对位作业时间增加时，整体的诊断时间会达到很长的时间。结果，产生医生的疲劳以及患者的负担都变大这样的课题。
作为解决这种课题的方法，在专利文献1中具有如下这样的方法：在1个图像内设定被假定为深度范围以外的区域并实施模糊恢复处理来实现深度放大。该方法在管腔中利用内窥镜进行观察时实施距离检测，并进行对预定距离范围区域的模糊恢复处理。该方法的缺点是需要距离检测，当距离检测精度低时，会在模糊区域的判定中产生错误，此外因为所使用的模糊恢复处理采用了反褶积等，所以担心伴随模糊区域误判定的过校正或噪声放大。
作为另一个解决的方法，如专利文献2那样在放大观察时进行自动对焦。因为该自动对焦处理采用对比度值进行焦点控制，所以不会始终进行对焦，而是按时序短期间内交替地反复显示对焦图像和模糊图像。这样的自动对焦处理具有如下这样的缺点：当帧速率足够快时即使周期性地反复对焦图像和模糊图像也几乎不能识别从而不成为问题，但当帧速率变慢时会变得明显。
根据本发明的几个方式，可提供在放大观察中能够按时序显示与对焦状态等同的模糊量小且已抑制噪声增大的显示图像的内窥镜装置以及图像处理方法等。
另外，根据本发明的几个方式，可提供如下这样的内窥镜装置以及程序等，因为能够按时序显示模糊量的变化小的高精细图像，所以可通过提高视觉识别性来缩短病变诊断时间，并能够减轻对患者的负担。
解决问题的手段
本发明的一方式涉及内窥镜装置，该内窥镜装置包含：图像取得部，其按时序取得与通常观察状态相比光学系统的放大倍率是高倍率的放大观察状态下的摄像图像；模糊量信息提取部，其从所述放大观察状态下的所述摄像图像中提取模糊量信息；以及模糊量校正部，其根据所提取的所述模糊量信息来校正所述摄像图像，所述模糊量信息提取部包含预定频带图像提取部，该预定频带图像提取部从所述摄像图像中提取预定频带成分的图像即预定频带图像，所述预定频带图像提取部包含计算所述摄像图像的振幅值的摄像图像振幅计算部，所述预定频带图像提取部在由所述摄像图像振幅计算部计算出的振幅值处于第1振幅范围时，不进行所述预定频带图像的提取，在由所述摄像图像振幅计算部计算出的振幅值处于第2振幅范围时，进行所述预定频带图像的提取，所述第2振幅范围是与比所述第1振幅范围中的振幅值小的振幅值对应的范围。
在本发明的一方式中，根据放大观察状态下的摄像图像的模糊量信息来校正摄像 图像。由于是基于模糊量信息的处理，因此能够对受模糊影响较大的区域等需要模糊恢复处理的区域有效地进行校正处理，而对其它区域不进行校正处理。由此，能够对用户提供没有不协调感的模糊校正图像。
本发明的其它方式涉及图像处理方法，其特征在于，进行如下处理，即按时序取得与通常观察状态相比光学系统的放大倍率是高倍率的放大观察状态下的摄像图像；进行模糊量信息提取处理，即从所述放大观察状态下的所述摄像图像中提取模糊量信息；以及进行模糊量校正处理，即根据所提取的所述模糊量信息来校正所述摄像图像，在所述模糊量信息提取处理中，计算所述摄像图像的振幅值，在计算出的所述振幅值处于第1振幅范围时，不进行预定频带图像提取处理，该预定频带图像提取处理从所述摄像图像中提取预定频带成分的图像即预定频带图像，在计算出的所述振幅值处于第2振幅范围时，进行所述预定频带图像提取处理，所述第2振幅范围是与比所述第1振幅范围中的振幅值小的振幅值对应的范围。
附图说明
图1是本实施方式的内窥镜装置的系统结构例。
图2是图像处理部的结构例。
图3是纹理提取部的结构例。
图4(A)～图4(C)是说明根据振幅范围提取的频率范围发生变化的图。
图5是纹理校正量计算部的结构例。
图6是说明利用变焦杆进行的观察状态的切换以及基准振幅值的更新处理的图。
图7(A)～图7(C)是说明Z方向的偏移与校正量的关系的图。
图8是滤色器的滤色器透射率。
图9是旋转滤色器的结构例。
图10是本实施方式的内窥镜装置的其它系统结构例。
图11是基于对比度法的自动对焦处理的示意图。
图12是图像处理部的其它结构例。
图13是纹理提取部的其它结构例。
图14(A)、图14(B)是子带图像的分割例。
图15是纹理校正量计算部的其它结构例。
图16是纹理校正部的结构例。
图17是目标对焦位置计算部的结构例。
图18是说明校正量相对于振幅增益量的关系的图。
图19(A)～图19(C)是说明光学系统的观察倍率与提取的频率范围的关系的图。
具体实施方式
以下，对本实施方式进行说明。另外，以下说明的本实施方式不是不合理限定权利要求所记载的本发明内容的实施方式。另外，本实施方式所说明的所有结构并非都是本发明所必须的构成要件。
1.本实施方式的方法
首先，说明本实施方式的方法。如上所述，根据本实施方式的方法，能够不增大噪声地取得与对焦状态等同的模糊量小的图像。
在采用几十～几百倍的观察倍率的放大观察模式中，景深变得非常窄，从而难以取得对焦的图像。因此，通过对未对焦从而模糊的图像以图像处理的方式实施模糊恢复处理，来取得与对焦状态等同的模糊量小的图像。
对本实施方式的方法进行说明。因为本实施方式的图像取得部(图像构成处理部310)所取得的图像难以通过放大观察来进行对焦，所以成为模糊的图像。此时，模糊影响表现较大的是生物体的粘膜表面或血管构造等的表示微小灰度变化的区域，在褶皱这样的表示灰度变化大的区域中模糊的影响较小。即，由于焦点模糊而引起的粘膜或血管等的细微构造图像的振幅降低的影响较大。由此，从摄像图像中提取粘膜或血管等的细微构造图像(在本实施方式中称为纹理图像或者预定频带图像)。
然后，对所提取的纹理图像进行使已降低的振幅值增强(例如使信号值放大)这样的校正处理。在此基础之上，通过合成由图像取得部取得的图像(模糊的图像)即摄像图像与已进行校正处理的纹理图像，来取得已校正为在诊断中有用的纹理是对焦状态的图像。由此，对受模糊影响较大的区域进行模糊恢复处理，并且对模糊影响小的区域或噪声成分等不进行模糊恢复处理，所以能够取得使观察的眼睛产生不协调感小的模糊校正图像。即，能够取得对在诊断中有用的纹理重点实施模糊恢复处理的图像。
以下，在第1实施方式中说明通过采用2级的双边(bilateral)滤色器来提取纹理图像的方法。在本实施方式中，除了褶皱等的构造，还需要提取粘膜表面或血管等的图像。因此，应用的滤色器不仅具有频率特性(例如高通或带通等)，还具有振幅特性。这里，根据关注像素的像素值和周边像素的像素值来求出振幅，褶皱的振幅值大，粘膜或血管等的振幅值小。此外，只要能够取得具有与小振幅～微小振幅对应的振幅值且处于预定频率范围的图像即可，上述滤色器不仅限于双边滤色器。
另外，在第2实施方式中，如图14(A)、图14(B)那样采用子带图像进行纹理图像的提取。另外，第2实施方式的特征是，不仅进行图像处理的模糊恢复处理，还通过进行光学的自动对焦处理，来取得模糊量小的图像。
2.第1实施方式
2.1结构
图1是示出第1实施方式的内窥镜装置的整体结构的框图。构成本发明的内窥镜装置由光源部100、摄像部200、处理器部300、显示部400和外部I/F部500构成。
光源部100由白色光源101和聚光透镜104构成，该聚光透镜104使来自白色光源101的照明光会聚到光纤201的入射端面。 
摄像部200例如为了能插入体腔而形成为细长且可以弯曲。摄像部200具有：用于引导由光源部100会聚的光的光纤201；使通过该光纤201而被引导至前端的光扩散并照射到观察对象的照明透镜202；会聚从观察对象返回的反射光的物镜203；对焦位置控制部206；对焦位置调整透镜207；用于检测会聚的成像光的摄像元件209；将来自摄像元件209的经过光电转换后的模拟信号转换为数字信号的A/D转换部210。这里，上述摄像元件209可利用CCD或CMOS等，来作为以预定的排列在各个像素中配置滤色器的单板摄像元件(补色或原色)。
处理器部300由图像处理部301和控制部302构成。显示部400是CRT或液晶监视器等可显示动态图像的显示装置。
外部I/F部500是用于用户对该内窥镜装置进行输入等的接口，其包含用于进行电源的接通/关断的电源开关、用于开始摄影操作的快门按钮、用于切换摄影模式或其它各种模式的模式切换旋钮(例如，通过使图6所示的变焦杆运动到作为放大观察模式的一侧来移动对焦位置调整透镜，并获得更接近位置的对焦状态)等。然后，该外部I/F部500向控制部302输出已输入的信息。
接着，详细地说明摄像部200的构成要素即对焦位置控制部206、对焦位置调整透镜207与控制部302的关系。首先，说明本实施例的内窥镜装置所具有的观察倍率不同的2个观察模式。
2个观察模式有通常观察模式和放大观察模式，通常观察模式是在泛焦的广视野图像中主要进行筛选检查的模式。放大观察模式是通过接近于在筛选检查中发现的病变部对其粘膜构造或血管运行状态等进行放大观察来精确检查病变部是否为恶性的精查模式。
为了切换这样的2个模式，控制部302根据对外部I/F部500的图6所示的变焦杆的操作，向对焦位置控制部206发送对焦位置调整控制信号。在对焦位置控制部206中根据接收到的上述控制信号来控制对焦位置调整透镜207的移动。
下面说明对焦位置控制部206的放大观察模式时的具体控制和用户操作。
在选择放大观察模式的情况下，经由对焦位置控制部206移动对焦位置调整透镜207，使其成为以接近状态对焦的预先决定的预定对焦位置。作为向放大观察顺畅转移的1个操作顺序例，首先在通常观察模式下维持对焦状态并尽量接近于观察对象。在此时刻，用户操作外部I/F部500的变焦杆，切换为放大观察模式。从此状态开始操作变焦杆，使倍率连续(或者阶段性)地进行变化，与此同时因为深度变窄所以镜体与观察对象更加渐近并对焦。通过这样的作业可获得期望的倍率和对焦状态。
即，当用户未进行使镜体前端随着倍率上升而以微妙的距离感接近于观察对象这样的高度操作时，观察模糊图像，在对希望精查的观察对象进行放大观察时，始终以对焦的状态在画面内持续成帧是非常困难的作业。
另一方面，在选择通常观察模式的情况下，经由对焦位置控制部206移动对焦位置调整透镜207，使其处于能够得到足以进行筛选检查的视场角和景深的对焦位置。在此情况下，因为始终处于对焦状态，所以用户能够仅通过使镜体前端向观察对象移动来进行观察，而没有强迫复杂且微妙的操作。
接着，基于图2的框图来详细地说明构成处理器部300的图像处理部301。
图像处理部301由图像构成处理部310、纹理提取部320、纹理校正量计算部340、纹理校正部360、合成部370构成。
接着，说明各构成部之间的数据的流动。从A/D转换部210输出的时序摄像图像输入到图像构成处理部310。图像构成处理部310还与控制部302连接，将预先保 存在控制部302内的处理参数(OB箝位值、WB系数、颜色校正系数、灰度转换表、轮廓强调水平等)输入到图像构成处理部310。图像构成处理部310基于这些处理参数，根据所输入的时序摄像图像来生成可利用显示装置进行观察的时序显示图像，并向纹理提取部320以及合成部370输出。
纹理提取部320输入从图像构成处理部310输出的时序显示图像，从控制部302输入用户经由外部I/F部500指定的观察模式信号(表示放大观察模式或通常观察模式的信息)，还输入摄像部200的倍率信息。纹理提取部320首先在观察模式为放大观察模式的时刻进行动作，对所输入的时序显示图像的各个帧提取纹理图像。这里，纹理图像是与作为观察对象的生物体表面的细微粘膜构造或血管等对应的微小灰度变化图像，是尽量去除照明光在粘膜表层上进行正反射的区域或褶皱等呈较大灰度变化的部分后的图像。后面，详细叙述纹理提取部320。
将由纹理提取部320提取出的纹理图像输入到纹理校正量计算部340，根据来自控制部302的观察模式信号、纹理基准阈值和纹理图像的振幅值来计算对纹理图像的校正量。向纹理校正部360输出所计算出的校正量。这里，纹理基准阈值是用于从纹理校正量计算部340按时序计算出的多个纹理图像的振幅值中选定基准振幅值的判定阈值。另外，根据在当前时刻提取出的纹理图像的振幅值与基准振幅值为相同大小的振幅增益量，来计算校正量。其中，当该振幅增益量大于预定阈值以上时，在所提取的纹理图像内没有有效的信息，处于焦点模糊状态，将校正量修正为0。这里如图18所示，校正量可设置对振幅增益量的2个阈值Th1和Th2，在这2个阈值之间可缓缓地给予使校正量减小这样的连续变化。后面，详细地叙述纹理校正量计算部340。
纹理校正部360使所输入的纹理图像与上述校正量相乘，生成校正纹理图像，然后向合成部370输出。
向合成部370输入从图像构成处理部310输出的时序显示图像和从纹理校正部360输出的与上述时序显示图像对应的校正纹理图像，在控制部302的观察模式信号是放大观察模式时的情况下，使上述2个图像相加来生成模糊校正图像。
向显示部400输出模糊校正图像，并显示已模糊校正的图像。另外，在观察模式是通常观察模式时，时序显示图像未与校正纹理图像相加就直接向显示部400输出。
2.2模糊量信息提取部的详细结构
接着，详细说明模糊量信息提取部。在本实施方式中，模糊量信息提取部相当于 图2的纹理提取部320。
根据图3的框图来详细说明纹理提取部320。纹理提取部320由区域提取部321、滤波系数计算部322、滤波处理部323、噪声量估计部324、减法处理部325、区域提取部326、滤波系数计算部327、滤波处理部328、滤色器参数控制部329构成。
接着，说明各构成部之间的数据的流动。将从控制部302输出的观察模式信号和倍率信息输入到滤色器参数控制部329，并转换为滤波系数生成用参数。向滤波系数计算部322和噪声量估计部324输出已转换的滤波系数生成用参数。
将从图像构成处理部310输出的时序显示图像向区域提取部321输入，并提取关注像素及其周边p×q像素区域(p和q是任意的正整数)，向滤波系数计算部322和滤波处理部323输出。这里将由拍摄的时序显示图像的时刻t、2维座标(x、y)构成的3维座标下的像素值设为P(x、y、t)，另外，进行滤波处理的关注像素的3维座标设为(x0、y0、t)。另外，因为时序显示图像是彩色图像，所以像素值P(x、y、t)为由R、G、B这3个通道构成的3维矢量。
滤波系数计算部322根据从滤色器参数控制部329输出的滤波系数生成用参数来计算滤波系数。这里输入的滤波系数生成用参数是用于将上述p×q像素区域的关注像素与周边像素的像素值之差的绝对值转换控制为滤波系数的量。例如，在使用由式(1)所示的2个高斯函数之积构成的双边滤色器时，针对关注像素与其周边像素的像素值之差的绝对值的指标值σ1s为滤波系数生成用参数。
这里，用下式(1)表示滤波系数F1(x、y、t)，Σxy表示p×q像素区域内的总和，Pf(x0、y0、t)表示滤波处理后的像素值。
F1(x，y，t)＝exp(-{(x-x0)2+(y-y0)2}/{2*σd 2})*exp(-|P(x，y，t)-P(x0，y0，t)|2/{2*σ1s 2})
·····(1)
滤波处理部323通过从区域提取部321输出的p×q像素区域的像素值P(x、y、t)和从滤波系数计算部322输出的滤波系数F1(x、y、t)进行滤波处理，利用下式(2)来计算滤波处理后的像素值Pf(x0、y0、t)。向减法处理部325和噪声量估计部324输出计算结果。
Pf(x0，y0，t)＝ΣxyP(x，y，t)*F1(x，y，t)/ΣxyF1(x，y，t)·····(2)
向减法处理部325输入从图像构成处理部310输出的时序显示图像的像素值P(x0、y0、t)和从滤波处理部323输出的滤波处理后的像素值Pf(x0、y0、t)，计算从P(x0、y0、t)减去Pf(x0、y0、t)所得的差值D(x0、y0、t)，暂时保存由计算出的差值D(x0、y0、t)构成的差分图像。向区域提取部326输出已保存的差分图像。
噪声量估计部324输入从滤色器参数控制部329作为滤波系数生成用参数输出的噪声量估计模型(将像素值转换为噪声量的函数)和来自滤波处理部323的滤波处理后的像素值Pf(x0、y0、t)，并估计与Pf(x0、y0、t)对应的噪声量N(x0、y0、t)。向滤波系数计算部327输出估计噪声量N(x0、y0、t)。
这里，噪声量估计模型对在预定区域内亮度均匀的具有多个反射率的灰度图进行摄影，并分别计算求出从图像构成处理部310输出的时序显示图像的灰度图内的上述预定区域的像素值P(x、y、t)的平均值和标准偏差σ。根据这些多个平均值和标准偏差，利用由多项式近似曲线拟合的函数来求出作为定义区域取得的各像素值和噪声量(例如将标准偏差作为噪声量)的更详细的对应关系，在安装时例如采用将该函数近似成曲线或者做成查找表而得到的内容。
区域提取部326对从减法处理部325输出的差分图像提取关注像素的周边v×w像素区域(v和w是任意的正整数)，并向滤波系数计算部327以及滤波处理部328输出。
滤波系数计算部327根据从噪声量估计部324输出的噪声量N(x0、y0、t)，基于上述v×w像素区域的关注差分像素值D(x0、y0、t)与周边差分像素值D(x、y、t)之差的绝对值来计算滤波系数。这里，噪声量N(x0、y0、t)为对滤波系数的转换控制量。当采用式(3)所示的双边滤色器时，如下式(3)所示，使针对关注差分像素值与其周边差分像素值之差的绝对值的指标值σ2s与噪声量N(x0、y0、t)相对应。
F2(x，y，t)＝exp(-{(x-x0)2+(y-y0)2}/{2*σd 2})*exp(-|D(x，y，t)-D(x0，y0，t)|2/{2*σ2s 2})
σ2s＝α*N(x0，y0，t)α是任意的系数
·····(3)
滤波处理部328利用从区域提取部326输出的v×w像素区域的差分像素值D(x、y、t)和从滤波系数计算部327输出的滤波系数F2(x、y、t)来进行滤波处理，利用下式(4)来计算滤波处理后的差分像素值Df(x0、y0、t)。向纹理校正量计算部340输出计算结果。
Df(x0，y0，t)＝ΣxyD(x，y，t)*F2(x，y，t)/ΣxyF2(x，y，t)·····(4)
根据图4(A)～图4(C)来说明关于上述2个双边滤色器F1(x、y、t)和F2(x、y、t)的特性与纹理提取的思想。
首先，将控制滤色器F1(x、y、t)的滤波系数的指标值σ1s设定为相对于滤色器F2(x、y、t)的指标值σ2s充分大的值。
在主要决定滤波系数的大小的第2项像素值差|P(x、y、t)-P(x0、y0、t)|或者差分像素值差|D(x、y、t)-D(x0、y0、t)|的大小相对于指标值σ1s是同等水平以下且大于指标值σ2s的像素值差的区域中，如图4(B)的804所示，滤色器F1(x、y、t)的频率特性的低通特性强。另外，如图4(B)的803所示，滤色器F2(x、y、t)的频率特性的低通特性弱。结果，在2个滤色器特性中产生较大的差异。
另一方面，在产生比上述像素值差大的像素值差的区域中，如图4(A)的802所示，滤色器F1(x、y、t)的频率特性的低通特性弱，如图4(A)的801所示，滤色器F2(x、y、t)的频率特性的低通特性更弱，但其差小。
而且，在像素值差比指标值σ2s小的区域中，如图4(C)的806所示，滤色器F1(x、y、t)的频率特性的低通特性强。另外，如图4(C)的805所示，滤色器F2(x、y、t)的频率特性也是低通特性强，在此情况下2个滤色器特性之间的差小。
这样利用伴随着2个双边滤色器的像素值差(振幅值)大小的频率特性的差异，提取具有预定的小像素值差的区域的纹理。
即，在像素值差小的纹理区域中，从减法处理部325输出的差分图像的频带为频率特性804以外的高通特性。该高通特性的信号在滤波处理部328中如频率特性803那样仅截止更高频，所以从滤波处理部328输出的信号具有被频率特性803与频率特性804包围的宽带带通特性的频率特性。可通过使该特性与作为观察对象的粘膜构造或血管运行图案所具有的频带相对应，来提取所需的纹理。
另一方面，在像素值差大的正反射区域或褶皱等大构造边界中，从减法处理部 325输出的信号的频带为频率特性802以外的高通特性。该高通特性的信号在滤波处理部328中利用频率特性801截止等同的高频，所以从滤波处理部328输出的信号几乎没有通过的频带，能够截止正反射区域或褶皱等大边缘构造。
而且，针对处于像素值变化非常小的区域的噪声成分(这里，伴随着噪声量的变化相比上述纹理区域的像素值变化充分小)，如图4(C)所示，2个滤色器特性未出现差异，所以从滤波处理部328输出的信号几乎没有通过的频带，能够截止噪声成分。
作为结果，从纹理提取部320仅输出像素值差小的纹理图像。可采用2个指标值σ1s和σ2s来控制所提取的纹理图像的频率特性和振幅特性。
尤其，操作外部I/F部500的变焦杆，使时序显示图像的倍率连续地(或者阶段地)进行变化，并与上述情况联动地经由控制部302向滤色器参数控制部329输入该倍率信息，由此滤色器参数控制部329可控制上述2个指标值σ1s和σ2s，并将与各个倍率相应的生物体构造更准确地提取为纹理图像。
例如图19(A)所示，在倍率小的状态下，对σ1s和σ2s分别指定较大的值(其中，σ1s>σ2s)，将对应的滤色器F1和F2的频率特性分别设为1502、1501并提取低频带1507而做成纹理图像。另外，如图19(B)所示，在倍率中等程度的状态下，使σ1s和σ2s分别小于倍率小的状态(其中，σ1s>σ2s)，将对应的滤色器F1和F2的频率特性分别设为1504、1503并提取中频带1508而做成纹理图像。此外，如图19(C)所示，在倍率大的状态下，使σ1s和σ2s分别进一步小于倍率中等程度的状态(其中，σ1s>σ2s)，将对应的滤色器F1和F2的频率特性分别设为1506、1505并提取高频带1509而做成纹理图像。
如上所述，变更根据倍率提取的纹理图像的频带的理由是：在低倍率下呈微妙颜色变化的发红或褪色调的大面积区域是重要的，在中倍率下腺管或血管运行图案的构造对于诊断来说是重要的，并且在高倍率下更细的纹孔图案或粘膜表层的细微血管的构造对于诊断来说是重要的。
2.3模糊量校正部的详细结构
继续说明模糊量校正部。在本实施方式中，模糊量校正部相当于纹理校正量计算部340、纹理校正部360以及合成部370。
根据图5的框图来说明纹理校正量计算部340。纹理校正量计算部340由振幅计算部341、基准振幅更新判定部342、基准振幅存储部343、校正量计算部344、校正 量控制部345构成。
接着说明各构成部之间的数据的流动。向校正量控制部345输入从控制部302输出的观察模式信号、纹理基准阈值和校正量上限值，还从基准振幅存储部343输入当前时刻的基准振幅值，根据观察模式信号、纹理基准阈值和基准振幅值来设定基准振幅判定阈值，并输出到基准振幅更新判定部342，还向校正量计算部344输出校正量上限值。
这里，纹理基准阈值是判定所拍摄的时序显示图像是否处于模糊状态的基准值，因为根据摄像性能的差异进行变化，所以基于镜体的种类设定不同的值。关于该设定值，在摄像部200具备的未图示的ROM中记录有上述基准值，在摄像部200与处理器部300连接的时刻，向处理器部300的控制部302取入上述基准值。当纹理图像的振幅值小于纹理基准阈值时，判断为模糊程度强且不能进行模糊恢复处理。
另外，所谓基准振幅值就是作为校正目标的值。基本上通过进行使纹理图像的振幅值成为与基准振幅值相同大小的校正处理，来校正模糊。但是，因为还具有例外的处理，所以后面详细地进行叙述。
另外，基准振幅值判定阈值是用于选定上述基准振幅值的阈值，在观察模式信号变化为放大观察模式的时刻，设定为纹理基准阈值的值，在其以外的情况下，例如设定纹理基准阈值与基准振幅值的平均值。纹理图像的振幅值超过基准振幅值判定阈值的情况为基准振幅值的更新条件之一。
振幅计算部341计算从纹理提取部320输出的在时刻t提取出的纹理图像的振幅值MA(t)。这里，振幅值可以以构成纹理图像的纹理图像像素值的绝对值的最大值进行定义，或者可以以纹理图像的像素值的最大值与最小值之差进行定义。向基准振幅更新判定部342输出已计算出的振幅值MA(t)。
基准振幅更新判定部342输入从振幅计算部341输出的振幅值MA(t)和从校正量控制部345输出的基准振幅判定阈值，根据已经存储在基准振幅更新判定部342中的前面2个振幅值MA(t-1)、MA(t-2)，来判定振幅值MA(t)是否是新的基准振幅值。
使用图6的示意图来更详细地进行说明。首先，在刚切换为放大观察模式之后，校正量控制部345将纹理基准阈值作为基准振幅判定阈值向基准振幅更新判定部342输出。因此，除了动作大而产生振动模糊的情况或过于接近观察对象而成为焦点模糊 的情况等之外，将切换到观察模式时的纹理图像的振幅值选定为基准振幅值输出到基准振幅存储部343。
在此后的维持放大观察模式的状态下，基准振幅判定阈值如上所述成为例如纹理基准阈值与基准振幅值的平均值，所以对更新基准振幅值的基准振幅判定阈值设定更大的值。因此，能够抑制频繁地更新基准振幅值。进行这样的控制的理由是，通过抑制基准振幅值频繁变动，来抑制与其联动变化的从合成部370输出的模糊校正图像在时间上的晰像感变动。由此表面上能够维持对焦状态。
另一方面，用户操作内窥镜，使镜体前端在放大观察时接近观察对象，并且移动变焦杆来维持期望的倍率和对焦状态，但倍率越高，景深越窄，所以不能维持对焦状态，如图6的时间与振幅值的曲线图那样地反复对焦状态和非对焦状态。
针对这样的状态，基准振幅更新判定部342根据上述3个振幅值MA(t)、MA(t-1)、MA(t-2)判断在期间t-2～t之间振幅值是否具有极大值。例如通过对3个振幅值以2次式拟合后判断在此期间内是否存在极大值，来进行上述判断。当存在极大值时，利用2次式计算出的极大值成为基准振幅值的候选，然后与基准振幅判定阈值进行比较。当极大值大于基准振幅判定阈值时将其作为基准振幅值向基准振幅存储部343输出。另一方面，当极大值是基准振幅判定阈值以下时，不视为是基准振幅值，不向基准振幅存储部343输出。另一方面，当检测到极小值时，不进行与基准振幅判定阈值的比较，不进行基准振幅值的变更。
这样更新基准振幅值的理由是，由于观察倍率的差异而看到没能在低倍率下对观察对象的粘膜构造或血管进行晰像的图像、或以放大状态变更观察位置本身等情况与纹理图像的时间特性变化相对应。
基准振幅存储部343输入从基准振幅更新判定部342输出的基准振幅值，将过去记录的基准振幅值更新为最新的值。将最新的基准振幅值输出到校正量控制部345和校正量计算部344。
在校正量计算部344中输入从振幅计算部341输出的时刻t的振幅值MA(t)、从基准振幅存储部343输出的基准振幅值RMA和从校正量控制部345输出的校正量上限值，根据振幅值MA(t)成为与基准振幅值RMA相同大小的振幅增益量以及2个阈值Th1、Th2来计算校正量。向纹理校正部360输出已计算出的校正量。
校正量＝振幅增益量-1·····(5)
其中，振幅增益量≥1，且振幅增益量<Th1
校正量＝校正量上限值-α×振幅增益量+β·····(6)
其中，振幅增益量≥Th1，且振幅增益量<Th2
校正量＝0·····(7)
其中，振幅增益量<1，或者振幅增益量≥Th2
另外，Th1＝校正量上限值+1，Th2＝Th1+基准振幅值/纹理基准阈值
α＝振幅上限值/(Th2-Th1)
β＝α×Th2-校正量上限值
振幅增益量＝RMA/MA(t) 
这里，以图7(A)～图7(C)的示意图来说明纹理图像的振幅值与校正量的关系。如图7(A)和(B)所示，当镜体前端与观察对象伴随从对焦位置向Z方向(这里，所谓Z方向就是在镜体前端设置的光学系统的光轴方向)超过深度范围的±Δ的振动时，纹理图像的振幅值在对焦位置取最大的值。即，在放大观察的情况下，连续观察当具有±Δ的振动时已对焦的图像和未对焦的图像，不能观察已充分体现出光学系统的析像度的时序显示图像。
因此如图7(C)那样为了使纹理图像的振幅与对焦位置下的大小一致，从纹理校正部360输出校正纹理图像，该校正纹理图像校正了与Z方向振动相伴的纹理图像的振幅值的降低。利用合成部370使从图像构成处理部310输出的时序显示图像与校正纹理图像相加，所以即使在对焦位置上没有图像的情况下，只要未完全模糊，就能够向用户提供保持有描绘出生物体表面的粘膜构造或血管等的纹理的图像。
在上述实施例中记述为对最终显示图像进行纹理提取处理，但并非必须如此，也可以在图像构成处理部310内的强调处理中加入该处理。
在上述实施例中还示出采用2个双边滤色器来进行纹理提取处理的例子，但不仅限于此。例如，可采用提取特定频率以上的高通滤色器或带通滤色器来简易地提取纹理图像。但是，在此情况下，当利用与照明光从被摄体正反射相伴的亮点区域等在时间上变动的陡峭边缘部的去除处理(例如，作为单纯的处理，将亮度等级判定为根据图像平均值设定的阈值的判定处理和该判定区域的删除处理(例如形态学处理等))截止亮点区域并尽量抑制校正量对纹理图像的影响时，可进行稳定的控制。
如以上这样，根据第1实施方式，在放大观察时的浅深度下可利用Z方向振动来 改善模糊，并能够无压力地在短时间内进行病变部的精查，还能够减轻患者的负担。
在以上的本实施方式中，内窥镜装置包含按时序取得放大观察状态下的摄像图像的图像取得部、从放大观察状态下的摄像图像中提取模糊量信息的模糊量信息提取部和根据所提取的模糊量信息来校正摄像图像的模糊量校正部。
这里，图像取得部相当于图2中的图像构成处理部310。模糊量信息提取部相当于图2中的纹理提取部320。模糊量校正部相当于图2中的纹理校正量计算部340和纹理校正部360以及合成部370。
另外，所谓放大观察状态就是与通常观察状态相比光学系统的放大倍率是高倍率的观察状态，例如，是几十～几百倍的倍率下的观察状态。在本实施方式中，将光学系统的放大倍率为预定倍率以上的状态作为放大观察状态。
由此，在可放大观察的内窥镜装置中，可从放大观察时的摄像图像内提取表示摄像图像模糊到何种程度的信息即模糊量信息，并根据所提取的模糊量信息来校正摄像图像。如上所述，内窥镜装置的光学系统的摄像倍率越高，景深越窄，从而难以取得对焦的图像。但是，鉴于内窥镜装置被用于用户(医生)进行的诊断、处置，希望始终取得对焦的图像。由此，利用本实施方式的方法进行模糊恢复处理是非常有用的。另外，因为根据表示摄像图像模糊到何种程度的信息即模糊量信息进行校正处理，所以不用进行过剩的校正处理(例如噪声成分也增强等)，就能够取得看上去没有不协调感的模糊校正图像。
另外，模糊量信息提取部包含预定频带图像提取部，该预定频带图像提取部从摄像图像中提取预定频带成分的图像即预定频带图像(纹理图像)。
这里，预定频带图像提取部相当于图2中的纹理提取部320。
由此，可提取摄像图像的预定频带成分的图像作为模糊量信息。通过适当地设定提取时的预定频率，可进行如下这样的处理，提取受模糊影响较大的区域(例如生物体的粘膜表面或血管构造等的微小灰度构造)，而不提取不怎么受模糊影响的区域或者与噪声成分对应的区域。因此，可适当地仅提取希望进行校正处理的区域。
另外，频带图像提取部可包含计算摄像图像的振幅值的摄像图像振幅计算部。
这里，根据关注像素(希望求出振幅值的像素)的像素值与关注像素周边的像素即周边像素的像素值之差来求出摄像图像的振幅值。
另外，摄像图像振幅计算部与图3中的区域提取部321以及滤波系数计算部322 相对应。另外，还与图3中的区域提取部326以及滤波系数计算部327相对应。实际上，在区域提取部321或区域提取部326中，求针对关注像素的周边像素的区域。然后，在滤波系数计算部322或滤波系数计算部327中，当计算滤波系数时，求出关注像素与周边像素的像素值之差。具体地说相对于上述式(1)的|P(x、y、t)-P(x0、y0、t)|或式(3)的|D(x、y、t)-D(x0、y0、t)|。
由此，可求出摄像图像的振幅值。因此，可进行与振幅值相应的处理，去除振幅值大的褶皱等的构造，并能够提取与振幅值小的粘膜或血管等的构造对应的图像。
另外，预定频带图像提取部在由摄像图像振幅计算部计算出的振幅值处于第1振幅范围时不进行预定频带图像的提取，在由摄像图像振幅计算部计算出的振幅值处于第2振幅范围时进行预定频带图像的提取。
这里，第1振幅范围例如对应于图4(A)，第2振幅范围对应于图4(B)。即，第1振幅范围中的振幅值大于第2振幅范围中的振幅值。具体地说，处于第1振幅范围的图像是与生物体表面的褶皱对应的图像，处于第2振幅范围的图像是与粘膜表面以及血管对应的图像。
由此，可进行与摄像图像的振幅值对应的处理。具体地说，未将振幅值大的第1振幅范围的图像作为预定频带图像进行提取，将振幅值小于第1振幅范围的第2振幅范围的图像作为预定频带图像进行提取。由此，可不提取振幅值大的褶皱等的构造，仅提取振幅值小的粘膜或血管等的构造。即，能够仅提取受模糊影响较大的区域，所以可进行高效率的模糊校正。
另外，预定频带图像提取部在由摄像图像振幅计算部计算出的振幅值处于第3振幅范围时不进行预定频带图像的提取。
这里，第3振幅范围例如与图4(C)相对应。即，第3振幅范围中的振幅值小于第2振幅范围中的振幅值。具体地说，处于第3振幅范围的图像是与噪声对应的图像。
由此，可进行与摄像图像的振幅值相应的处理。具体地说，振幅值小于第2振幅范围的第3振幅范围的图像不作为预定频带图像进行提取。由此，能够不提取与振幅值小于粘膜或血管等的噪声成分对应的图像。即，能够一边抑制到噪声成分的增强，一边进行模糊恢复处理。
另外，预定频带图像是振幅值处于第2振幅范围且频率成分处于第1频率范围的 图像。
这里，第1频率范围与图4(B)中的C1范围相对应，第2频率范围与图4(B)中的C2范围相对应。即，第1频率范围中的频率高于第2频率范围中的频率。
由此，不仅仅是振幅范围，在频率中也可以仅提取特定的范围作为预定频带图像。此时，可通过使所提取的第1频率范围与希望重点观察的区域(且希望适当地进行模糊校正的区域)对应，来进行有效的模糊校正处理。
另外，预定频带图像提取部可包含提取条件控制部，该提取条件控制部根据内窥镜装置的光学系统的倍率信息来控制预定频带图像的提取条件。
这里，提取条件控制部相当于图3中的滤色器参数控制部329。
由此，可根据光学系统的倍率信息来控制预定频带图像的提取条件。因此，即使在作为观察对象的生物体构造根据倍率进行变化时，也能够与该变化相应地适当提取预定频带图像。
另外，如图4(B)的C1、C2所示，在第1频率范围中的频率是比第2频率范围中的频率高的频率时，第1频率范围是大于第1频率阈值小于第2频率阈值的频率范围。这例如考虑到第1频率阈值与图4(B)的滤色器804的截止频率相对应、第2频率阈值与滤色器803的截止频率相对应的情况等(显然，频率阈值不被滤色器的截止频率所限定)。此外，预定频带图像考虑了频率成分处于第1频率范围的情况。此时，在预定频带图像提取部中，利用内窥镜装置的光学系统的倍率信息表示的倍率越大，越能够增大第1频率阈值和第2频率阈值。
由此，可进行图19(A)～图19(C)这样的处理。如图19(A)～图19(C)所示，光学系统的倍率越高，越能够使提取的频率范围即第1频率范围向频率高的方向移动。由此，可根据倍率，来适当地提取与重要的观察对象对应的频率范围。具体地说，在低倍率下呈微妙色变化的发红或褪色调的大面积区域是重要的，在中倍率下腺管或血管运行图案的构造是重要的，在高倍率下更细的纹孔图案或粘膜表层的细微血管的构造是重要的。
另外，如图3所示，预定频带图像提取部包含第1滤波处理部、减法处理部325、噪声量估计部324和第2滤波处理部。并且，第1滤波处理部进行第1滤波处理，减法处理部325通过取由第1滤波处理获得的图像与摄像图像的差分来生成构造图像。噪声量估计部根据提取条件来估计在构造图像中包含的噪声量，第2滤波处理部从构 造图像中分离噪声并取得预定频带图像。
这里，所谓构造图像就是在从摄像图像中提取预定频带图像(纹理图像)时在中间生成的图像。具体地说，在图3中，从图像构成部310输出并向第1滤波处理部(区域提取部321)以及减法处理部325输入的图像是摄像图像，通过由减法处理部325求出来自第1滤波处理部的输出与摄像图像的差分而获得的图像为构造图像。另外，向第2滤波处理部(区域提取部326)输入构造图像并进行第2滤波处理后，从第2滤波处理部(滤波处理部328)输出的是预定频带图像(纹理图像)。
由此，可利用2级滤波处理提取预定频带图像。具体地说，利用第1级的滤色器进行第1滤波处理(此外在后面叙述具体的例子)，利用第2级的滤色器进行噪声去除。
另外，模糊量信息提取部包含计算摄像图像的振幅值的摄像图像振幅计算部。然后，第1滤波处理部对摄像图像振幅计算部所计算出的振幅值处于第1振幅范围的图像进行使与第1频率范围以及第2频率范围对应的频率成分透射的低通滤波处理。另外，第1滤波处理部对处于第2振幅范围的图像进行使与第2频率范围对应的频率成分透射并截止与第1频率范围对应的频率成分的低通滤波处理。
由此，可进行与图4(A)的802以及图4(B)的804对应的处理。即，对于振幅值大(与褶皱等对应)的图像，保留到高频成分，对于振幅值小(与粘膜表面或血管等对应)的图像，截止高频成分。在第1滤波处理之后，如上所述利用减法处理部取与摄像图像的差分，所以振幅值大的图像仅保留比第1频率范围高的频率成分，与此相对，振幅值小的图像还保留第1频率范围的频率成分。
另外，如图3所示，第1滤波处理部包含区域提取部321，该区域提取部321从摄像图像提取关注像素周边的预定区域。另外，还包含滤波系数计算部322，该滤波系数计算部322计算关注像素与周边像素的空间距离以及像素值间距离(像素值之差)，并根据提取条件来计算滤波系数。此外，还包含滤波处理部323，该滤波处理部323根据区域提取部321所提取的预定区域和滤波系数计算部322计算出的滤波系数进行滤波处理。
由此，可利用如图3所示的构造来进行滤波处理。具体地说，提取关注像素的周边区域，并设定周边像素。然后，计算关注像素以及周边像素的空间距离以及像素值之差，并且根据提取条件来计算滤波系数。这相当于求出式(1)中的{(x-x0)2+(y-y0) 2}、|P(x、y、t)-P(x0、y0、t)|的情况。然后，根据利用式(1)求出的滤波系数，根据式(2)进行滤波处理。因此，振幅值|P(x、y、t)-P(x0、y0、t)|与滤色器的系数关联较大，所以能够进行与振幅范围相应的提取处理。另外，还调整σ1s，所以能够与条件相应地适当设定振幅范围。
另外，模糊量信息提取部包含计算摄像图像的振幅值的摄像图像振幅计算部。然后，第2滤波处理部对由摄像图像振幅计算部计算出的振幅值处于第2振幅范围的图像进行使与第1频率范围以及第2频率范围对应的频率成分透射的低通滤波处理。另外，第2滤波处理部对处于第3振幅范围的图像进行使与第2频率范围对应的频率成分透射并截止与第1频率范围对应的频率成分的低通滤波处理。
由此，能够进行与图4(B)的803以及图4(C)的805对应的处理。即，对于振幅值小(与粘膜表面或血管等对应)的图像，保留到高频成分，对于振幅值更小(与噪声对应)的图像，截止高频成分。因为在第1滤波处理之后进行这样的滤波处理，所以处于第2振幅范围的图像保留第1频率范围，与此相对，处于第3振幅范围的图像几乎所有成分被截止。因此，能够进行噪声的去除。
另外，如图3所示，第2滤波处理部包含从摄像图像中提取关注像素周边的预定区域的区域提取部326。另外，还包含滤波系数计算部327，该滤波系数计算部327计算周边像素与关注像素的空间距离以及像素值间距离(像素值之差)，并根据提取条件来计算滤波系数。此外，还包含噪声分离部(相当于图3的滤波处理部328)，该噪声分离部根据区域提取部326提取出的预定区域与滤波系数计算部327计算出的滤波系数来进行滤波处理，并分离噪声。
由此，可利用如图3所示的构造进行滤波处理。具体地说，提取关注像素的周边区域，并设定周边像素。然后，计算关注像素与周边像素的空间距离以及像素值之差，并且根据提取条件来计算滤波系数。这相当于求出式(3)中的{(x-x0)2+(y-y0) 2}，|D(x、y、t)-D(x0、y0、t)|的情况。然后，根据利用式(3)求出的滤波系数，通过式(4)进行滤波处理。因此，振幅值|D(x、y、t)-D(x0、y0、t)|与滤色器的系数关联较大，所以能够进行与振幅范围相应的提取处理。另外，因为还调整σ2s，所以能够与条件相应地适当设定振幅范围。
另外，模糊量校正部根据判定为处于对焦状态的摄像图像即对焦摄像图像的模糊量，对按时序取得的摄像图像进行校正。
这里，模糊量校正部相当于图2的纹理校正量计算部340、纹理校正部360以及合成部370。
由此，可设定校正的基准。因为对焦摄像图像是已判定为对焦的图像，所以只要能够将校正处理(例如信号值的放大等)进行到对焦摄像图像的水平，就能够取得模糊量足够小的图像。
另外，模糊量校正部包含预定频带图像振幅计算部，该预定频带图像振幅计算部计算由预定频带图像提取部提取出的预定频带图像的振幅值。
这里，预定频带图像振幅计算部相当于图5中的振幅计算部341。另外，所谓预定频带图像的振幅值可以以预定频带图像的像素值的绝对值的最大值进行定义，或者可以以预定频带图像的像素值的最大值与最小值之差进行定义。
由此，可计算预定频带图像的振幅值。因此，可采用图像的振幅值作为校正的基准。具体地说，只要通过将模糊图像中的振幅值放大为与处于对焦状态的图像的振幅值等同来进行校正既可。
另外，模糊量校正部如图2所示包含：预定频带图像校正部(相当于纹理校正部360)，其根据预定频带图像振幅计算部所计算出的预定频带图像的振幅值来校正预定频带图像；以及合成部370，其将摄像图像和已校正的预定频带图像合成。
由此，在校正预定频带图像之后，可通过合成已校正的预定频带图像和摄像图像来进行校正处理。鉴于预定频带图像是受模糊影响较大且与重要的观察对象对应的图像，仅提取校正对象并进行校正，以合成这样的形式返回到摄像图像，因此可稳定观察对象，实现保持与对焦时同等程度的晰像感的校正。
另外，预定频带图像校正部包含：基准振幅值选择部(相当于图5的基准振幅更新判定部342)，其从预定频带图像振幅计算部按时序计算出的振幅值中选择判定为处于对焦状态的振幅值来作为基准振幅值；以及校正量乘法部(相当于图5的校正量计算部344和纹理校正部360)，其根据基准振幅值计算对预定频带图像的校正量，并进行乘法运算。
由此，可计算基准振幅值，根据计算出的基准振幅值进行校正。具体地说，例如图18中的1<振幅增益量<Th1所示，只要进行使模糊图像的振幅值成为与基准振幅值相同的值这样的校正处理即可。此外，在图18中，当振幅增益量大于某程度时(即，模糊图像的振幅值比基准振幅值小时)，判断为模糊的程度过强、校正没有顺利发挥 功能，从而减弱了校正的程度。
另外，对焦摄像图像可以是在光学系统切换为放大观察状态的时刻取得的摄像图像。
由此，能够有效地取得对焦摄像图像。即，可认为在切换为放大观察状态的时刻对焦的可能性高，所以将切换的时刻的图像作为对焦摄像图像也没有什么问题。因此，如后所述，不需要进行基于条件的判定，可利用简单的处理来取得对焦摄像图像。
另外，对焦摄像图像是在光学系统切换为放大观察状态的时刻以后取得的摄像图像，而且可以是振幅值在预定期间内满足预定条件的摄像图像。具体地说，例如预定条件可以是振幅值大于基准振幅判定阈值且取极大值这样的条件。
由此，在切换至放大观察状态之后，也能够更新作为基准的图像即对焦摄像图像(即，更新基准振幅值)。在内窥镜的观察中考虑了观察倍率发生变化或者作为观察对象的被摄体发生变化(例如具有较大的横向移动的情况等)的情况，在此情况下，有可能图像的振幅值发生变化。即使在这样的情况下，也能够通过更新对焦摄像图像来设定适当的基准。另外，可通过对对焦摄像图像的更新设定条件，来抑制过剩地频繁进行更新处理的情况。
另外，以上的本实施方式涉及使计算机作为以下的部件发挥功能的程序，图像取得部，其按时序取得放大观察状态下的摄像图像；模糊量信息提取部，其从放大观察状态下的摄像图像中提取模糊量信息；以及模糊量校正部，其根据所提取的模糊量信息来校正摄像图像。
由此，本实施方式不仅限于如摄像装置或内窥镜系统那样取得图像在系统内进行图像处理，例如，还可以应用于首先积蓄图像数据，然后利用PC等计算机系统对所积蓄的图像数据进行软件处理的情况。另外，将上述程序记录到信息存储装置中。这里，作为信息存储装置可假定DVD或CD等光盘、光磁盘、硬盘(HDD)、非易失性存储器或RAM等存储器之类的可通过光学式检测系统读取的各种记录介质。
3.第2实施方式
3.1结构
图10是示出第2实施方式的摄像装置的整体结构的框图。构成本实施例的摄像装置由光源部100、摄像部200、处理器部300、显示部400和外部I/F部500构成，因为是与第1实施方式相同的基本结构，所以主要说明不同的详细结构。
首先，关于光源部100由白色光源101、具有多个分光透射率的旋转滤色器102、驱动旋转滤色器102的旋转驱动部103和聚光透镜104构成，该聚光透镜104使来自旋转滤色器102的具有分光特性的光会聚到光纤201的入射端面。
旋转滤色器102例如图9所示由三原色的红滤色器601、绿滤色器602、蓝滤色器603和旋转电机604构成。这3个滤色器的分光特性如图8所示。
旋转驱动部103根据来自处理器部300的控制部302的控制信号与摄像元件209的摄像期间同步地使旋转滤色器102以预定转速进行旋转。例如当滤色器在1秒内进行20次旋转时，各个滤色器以60分之1秒间隔穿过入射白色光，摄像元件209以60分之1秒间隔结束3原色的各色光(R或者G或者B)中的反射光图像的摄像和传送。这里，摄像元件209为单色用摄像元件。即，此实施例是以60分之1秒间隔对R图像、G图像、B图像按照帧顺序进行摄像的内窥镜装置的例子，实质的帧速率为20fps。
接着，针对摄像部200如上所述摄像元件209不同，采用单色单板摄像元件。此外，对焦位置控制部206和对焦位置调整透镜207能够以更高速进行驱动，在第2实施方式中可实时地进行自动对焦。
针对处理器部300还追加了目标对焦位置计算部303。控制部302的控制内容伴随着目标对焦位置计算部303的追加以及旋转滤色器102和旋转驱动部103的追加而被修正。
在处理器部300中追加的目标对焦位置计算部303输入从图像处理部301输出的时序显示图像和从控制部302输出的当前摄影中的滤色器的信息，并根据对应的滤色器的图像来计算目标对焦位置，对控制部302输出上述计算出的目标对焦位置以及Z方向(镜体前端的光轴方向)的倾斜量。
控制部302根据从目标对焦位置计算部303输出的目标对焦位置，向对焦位置控制部206输出对焦位置调整透镜207的移动位置，在接着进行摄影的滤色器穿过白色光源101的时刻之前使对焦位置调整透镜207移动。
从图像构成处理部310输出的时序显示图像利用纹理提取部320进行纹理图像的提取，并向目标对焦位置计算部303输出所提取的纹理图像。
另外，根据纹理提取部320所提取的纹理图像，在纹理校正量计算部340中，计算对纹理图像的校正量。然后，纹理校正部360根据计算出的校正量来校正纹理图像， 合成部370通过合成已校正的纹理图像和来自图像构成处理部的摄像图像，生成模糊校正图像。
3.2模糊量信息提取部的详细结构
纹理提取部320的结构与第1实施方式不同，为图13的框图所示的结构。
纹理提取部320由低通处理部1321、1326、1331、下采样部1322、1327、减法处理部1323、1328、1332、噪声量估计部1324、1329、1333、核化部1325、1330、1334和处理参数控制部1335构成。
该结构为生成将时序显示图像分别分割为多个频带的子带图像并加入各自独立的噪声降低处理的结构。基于该频带分割的纹理提取的特征与希望根据放大观察倍率来观察分割频带的纹理(粘膜构造或血管运行图案)的频带相应地变更。
接着说明各构成部之间的数据的流动。处理参数控制部1335根据从控制部302输出的倍率信息，以分割为多个频带(子带)的带宽不同的方式，使倍率信息与带宽的对应关系形成表。图14(A)、图14(B)示出此一例。图14(A)是放大观察倍率小时的频带的分割例，图14(B)是放大观察倍率大时的频带的分割例。都由(1)～(4)这4个频带构成。
即，判定来自控制部302的倍率信息和预定阈值，决定利用哪个分割方法来分割频带信息。在决定了分割方法之后，决定与各个频带相称的低通特性的滤波系数和下采样时的缩小率，将滤波系数向低通处理部1321、1326、1331输出，将缩小率向下采样部1322、1327输出。此外，还根据分割方法来变更各个频带的噪声量估计模型。将与各个频带对应的噪声估计模型分别向噪声量估计部1324、1329、1333输出。
以下，多个频带的处理是相同的，所以说明频带(1)的子带图像的处理。向低通处理部1321输入从图像构成处理部310输出的时序显示图像和从处理参数控制部1335输出的滤波系数。然后，将对时序显示图像进行了滤波处理的低通时序显示图像向减法处理部1323、下采样部1322和噪声量估计部1324输出。
向减法处理部1323输入从图像构成处理部310输出的时序显示图像和从低通处理部1321输出的低通时序显示图像。然后，通过从时序显示图像减去低通时序显示图像来生成高通时序显示图像，并向核化部1325输出。
向噪声量估计部1324输入从低通处理部1321输出的低通时序显示图像和从处理参数控制部1335输出的噪声估计模型，将低通时序显示图像的像素值通过噪声估计 模型转换为噪声量，并向核化部1325输出。
向核化部1325输入从减法处理部1323输出的高通时序显示图像，然后输入从噪声量估计部1324输出的噪声量，根据与噪声量相称的核化宽度来实施核化处理。将已进行核化处理的高通时序显示图像向纹理校正量计算部340、目标对焦位置计算部303以及纹理校正部360输出。
在此之前都是关于图14(A)或者图14(B)中(1)的频带的提取。因为(2)、(3)的频带的提取基本上相同，所以省略说明。
3.3模糊量校正部的详细结构
接着根据图15来详细叙述纹理校正量计算部340。
纹理校正量计算部340由振幅计算部1341、基准振幅更新判定部1342、基准振幅存储部1343、校正量计算部1344、校正量控制部1353构成。纹理校正量计算部340输入图14(A)或者图14(B)中频带(1)、(2)、(3)的频带，并计算各个校正量。
以下，仅说明与图14(A)或者图14(B)的频带(1)相关的校正量计算。向校正量控制部1353输入从控制部302输出的观察模式信号、纹理基准阈值和校正量上限值，此外还从基准振幅存储部1343输入当前时刻的基准振幅值。然后，根据观察模式信号、纹理基准阈值和基准振幅值来设定基准振幅判定阈值，然后向基准振幅更新判定部1342输出，还向校正量计算部1344输出校正量上限值。
这里，纹理基准阈值是判定所摄像的时序显示图像是否处于模糊的状态的基准值，因为根据摄像性能的差异而发生变化，所以基于镜体的种类来设定不同的值。基准振幅值判定阈值是用于针对纹理图像选定作为校正目标的基准振幅值的阈值，在观察模式信号切换为放大观察模式的时刻，将基准振幅值判定阈值设定为纹理基准阈值，在上述时刻以外的时刻，例如将纹理基准阈值与基准振幅值的平均值设定为基准振幅值判定阈值。
振幅计算部1341计算纹理提取部320输出的在时刻t提取的纹理图像的振幅值MA(t)。这里，振幅值可以以纹理图像的像素值的绝对值的最大值进行定义，或者可以以纹理图像的像素值的最大值与最小值之差进行定义。将所计算出的振幅值MA(t)向基准振幅更新判定部1342输出。
基准振幅更新判定部1342输入从振幅计算部1341输出的振幅值MA(t)和从 校正量控制部1353输出的基准振幅判定阈值，根据已存储在基准振幅更新判定部1342中的8个场期间之前的振幅值MA(t-1)、MA(t-2)、MA(t-3)、MA(t-4)、MA(t-5)、MA(t-6)、MA(t-7)、MA(t-8)，来判定振幅值MA(t)是否为基准振幅值。这里，1个场期间是取得与R、G、B各滤色器对应着进行摄影的R图像、B图像、G图像的期间(1/60秒)。
使用图11的示意图来详细说明基准振幅更新判定。用户在放大观察时操作内窥镜的镜体前端位置，使镜体前端接近于观察对象，并且移动变焦杆来获得期望的倍率。在本实施例中具有自动对焦功能，所以用户不需要在意对焦状态。但是，因为是以根据对比度值控制自动对焦的情况为前提的，所以如图11的示意图所示，A→B→C这样在Z轴方向(光学系统的光轴方向)上使对焦位置倾斜后进行摄影，并产生对比度变化，由此需要估计目标对焦位置。这样的Z轴方向上的倾斜成为对焦状态和非对焦状态(焦点模糊的状态)。
尤其当帧速率低时，显示未处于对焦状态的图像的期间变长，担心产生焦点变化，但第2实施方式的帧顺序内窥镜装置正好帧速率低于20fps。
在第2实施方式的帧顺序内窥镜装置利用对比度变化的情况下，在图11的A→B→C各自的对焦位置上进行R、G、B滤色器的摄像。即，A→B转移的期间相当于1帧期间(1/20秒)。
从本实施例的图像构成处理部310输出的时序显示图像因为在场期间仅更新由R、G、B滤色器拍摄的图像(R图像或者B图像或者G图像)，所以为了从多个纹理图像中可靠地提取与R图像或者G图像或者B图像对应的3个不同的纹理图像，需要9个纹理图像。
因此，基准振幅更新判定部1342判定与时序上连续的t-8～t期间内的9个纹理图像对应的9个振幅值MA(t)、MA(t-1)、MA(t-2)、MA(t-3)、MA(t-4)、MA(t-5)、MA(t-6)、MA(t-7)、MA(t-8)的振幅值是否具有极大值。因此，根据9个振幅值来分为3个组{MA(t)、MA(t-3)、MA(t-6)}、{MA(t-1)、MA(t-4)、MA(t-7)}和{MA(t-2)，MA(t-5)，MA(t-8)}。并且针对各个组的3个振幅值以2次式进行拟合，然后判定3个组中是否存在至少1个极大值。
当存在极大值时，利用2次式计算出的极大值成为基准振幅值的候选。另外，当检测出多个极大值时，选择一个最大的极大值，作为基准振幅值的候选。基准振幅值 的候选还与基准振幅判定阈值进行比较，当极大值大于基准振幅判定阈值时，作为基准振幅值向基准振幅存储部1343输出。当极大值是基准振幅判定阈值以下时，不视为基准振幅值，不向基准振幅存储部1343输出。另一方面，在3个组全都仅检测出极小值时，不进行与基准振幅判定阈值的比较，不进行基准振幅的变更。
更新基准振幅值的理由与第1实施方式相同。
基准振幅存储部1343输入从基准振幅更新判定部1342输出的基准振幅值，将过去记录的基准振幅值更新为最新的值。将最新的基准振幅值向校正量控制部1353和校正量计算部1344输出。
在校正量计算部1344中输入从振幅计算部1341输出的时刻t的振幅值MA(t)、从基准振幅存储部1343输出的基准振幅值RMA和从校正量控制部1353输出的校正量上限值，计算振幅值MA(t)与基准振幅值RMA为相同大小的增益量，并与第1实施方式所示的式(5)、式(6)、式(7)同样地计算校正量。
同样关于频带(2)、(3)为同一处理，所以进行省略，但在各个频带中独立地计算校正量，并向纹理校正部360输出3个校正量。
接着根据图16来详细叙述纹理校正部360。纹理校正部360由处理参数控制部1368、乘法处理部1361、1362、1263、上采样部1364、1366和加法处理部1365、1367构成。
接着，说明各构成部之间的数据的流动。处理参数控制部1368向上采样部1364、1366输出缩小率，该缩小率与根据从控制部302输出的倍率信息而分割的频带宽度相对应，并应用于纹理提取部320。
乘法处理部1361输入从纹理提取部320输出的与图14(A)或者图14(B)的频带(3)对应的子带图像和从纹理校正量计算部340输出的与频带(3)对应的子带图像的校正量，通过使校正量乘以与频带(3)对应的子带图像，来生成与频带(3)对应的校正子带图像，然后向上采样部1364输出。
乘法处理部1362输入从纹理提取部320输出的与图14(A)或者图14(B)的频带(2)对应的子带图像和从纹理校正量计算部340输出的与频带(2)对应的子带图像的校正量，通过使校正量乘以与频带(2)对应的子带图像来生成与频带(2)对应的校正子带图像，然后向加法处理部1365输出。
乘法处理部1363输入从纹理提取部320输出的与图14(A)或者图14(B)的 频带(1)对应的子带图像和从纹理校正量计算部340输出的与频带(1)对应的子带图像的校正量，通过使校正量乘以与频带(1)对应的子带图像来生成与频带(1)对应的校正子带图像，然后向加法处理部1367输出。
向上采样部1364输入从乘法处理部1361输出的与频带(3)对应的校正子带图像和从处理参数控制部1368输出的频带(3)的缩小率，利用作为缩小率倒数的倍率，生成与频带(3)对应的放大校正子带图像，并向加法处理部1365输出，该放大校正子带图像是对与频带(3)对应的校正子带图像进行放大后的图像。
向加法处理部1365输入由上采样部1364放大的与频带(3)对应的放大校正子带图像和从乘法处理部1362输出的与频带(2)对应的校正子带图像，通过使2个子带图像相加来生成与频带((3)+(2))对应的校正子带图像，然后向上采样部1366输出。
向上采样部1366输入从加法处理部1365输出的与频带((3)+(2))对应的校正子带图像和从处理参数控制部1368输出的频带(2)的缩小率，利用作为频带(2)的缩小率倒数的倍率，生成与频带((3)+(2))对应的放大校正子带图像，并向加法处理部1367输出，该放大校正子带图像是对与频带((3)+(2))对应的校正子带图像进行放大后的图像。
向加法处理部1367输入由上采样部1366放大的与频带((3)+(2))对应的放大校正子带图像和从乘法处理部1363输出的与频带(1)对应的校正子带图像，通过使2个子带图像相加来生成与频带((3)+(2)+(1))对应的校正子带图像，并向合成部370输出。
合成部370以后的处理与第1实施方式相同。
3.4自动对焦处理的详细内容
接着，根据图17来详细叙述目标对焦位置计算部303。目标对焦位置计算部303由区域提取部1371、1375、1379、平均振幅计算部1372、1376、1380、平均振幅存储部1373、1377、1381、目标对焦位置计算部1374、1378、1382、目标对焦位置判定部1384和目标对焦位置计算控制部1383构成。
目标对焦位置计算部303将采用对比度法的情况作为前提，需要设定用于进行对比度检测的检测区域。关于该区域，例如向控制部302输入用户从外部I/F部500指定的目标对焦位置信息(例如，从预先设定的多个矩形区域选择1个区域的识别编 号)，并利用控制部302变换为对比度检测区域信息(表示时序显示图像内的矩形区域的座标)。
接着说明各构成部之间的数据的流动。向目标对焦位置计算控制部1383输入从控制部302输出的对比度检测区域信息和倍率信息以及在对焦位置控制部206中设定的当前对焦位置。目标对焦位置计算控制部1383根据对比度检测区域信息和倍率信息，来计算与从纹理提取部320输出的3个子带图像对应的对比度检测区域座标，向区域提取部1371、1375、1379分别输出已计算出的对比度检测区域座标。另外，向平均振幅存储部1373、1377、1381输出当前的对焦位置。这里，对比度检测区域座标针对频带(1)直接使用来自控制部302的座标，并针对频带(2)计算相对于频带(1)缩小从处理参数控制部1368输出的频带(2)的缩小率后的座标，针对频带(3)计算相对于频带(2)缩小从处理参数控制部1368输出的频带(3)的缩小率后的座标。
区域提取部1371、1375、1379根据从目标对焦位置计算控制部1383输出的对比度检测区域座标，针对从纹理提取部320输出的3个子带图像分别提取对比度检测区域，并分别输出到平均振幅计算部1372、1376、1380中。
平均振幅计算部1372、1376、1380将从区域提取部1371、1375、1379输出的各个子带图像中提取出的对比度检测区域内的像素值的绝对值的平均值作为平均振幅值进行计算，并分别输出到平均振幅存储部1373、1377、1381。
在平均振幅存储部1373、1377、1381中，分别以至少9个环缓冲器的形式记录与按时序计算出的平均振幅值对应的对焦位置，将从平均振幅计算部1372、1376、1380输出的平均振幅值和从目标对焦位置计算控制部1383输出的对焦位置始终存储为最新的平均振幅值和对焦位置。
目标对焦位置计算部1374、1378、1382在9个平均振幅值中包含最新的平均振幅值，每隔两个从平均振幅存储部1373、1377、1381的各环缓冲器中读出3个平均振幅值和与其对应的对焦位置，并利用拉格朗日插值等分别计算作为最大振幅值的目标对焦位置。将所计算出的3个目标对焦位置与对应的最大振幅值一起向目标对焦位置判定部1384输出。
向目标对焦位置判定部1384输入从目标对焦位置计算部1374、1378、1382输出的与3个子带图像对应的3个目标对焦位置和计算出的3个最大振幅值。目标对焦位 置判定部1384在所输入的3个最大振幅值中选择最大的振幅值，将与选择的振幅值对应的目标对焦位置作为真目标对焦位置向目标对焦位置计算控制部1383输出。另外，作为进一步减小噪声影响的目标对焦位置的决定方法，可对3个目标对焦位置计算使对应的最大振幅值成为权重的加权平均，并作为真目标对焦位置。
目标对焦位置计算控制部1383在已输入从目标对焦位置判定部1384输出的目标对焦位置的时刻，向控制部302输出。
控制部302在接受之后，通过向对焦位置控制部206输出目标对焦位置并使对焦位置调整透镜207移动到目标对焦位置，来进行对焦控制。
如以上这样，根据第2实施方式，可利用基于与观察对象对应提取的纹理的对比度值来控制帧速率低的内窥镜装置在放大观察时的自动对焦处理，所以对焦精度提高，并且能够抑制由于自动对焦引起的Z方向倾斜而发生的模糊量的时间变动，因此用户能够无压力地在短时间内进行病变部的精查，还能够减轻患者的负担。
在以上的本实施方式中，预定频带图像提取部包含：频带分离部，其生成多个子带图像；以及子带选择部，其从多个子带图像中选择1个或多个子带图像来生成预定频带图像。
这里，所谓子带图像就是在根据倍率信息决定的多个预定频带中分离摄像图像的图像。在图14(A)、图14(B)的例子中，(1)～(4)分别为子带图像。另外，频带分离部相当于图12的纹理提取部320，子带选择部相当于图12的纹理校正量计算部340等。
由此，可根据子带图像来提取预定频带图像。具体地说，将摄像图像分割为多个子带图像，从所分割的子带图像中选择适当的子带图像来生成预定频带图像。此时，如图14(A)、图14(B)那样根据光学系统的摄像倍率来变更子带图像的宽度，由此能够进行与倍率相应的控制(在第1实施方式中相当于图19的控制)。
另外，校正量乘法部包含子带图像校正量乘法部，该子带图像校正量乘法部根据由预定频带图像振幅计算部计算出的与各个子带图像对应的振幅值和光学系统的倍率信息，来计算与各个子带图像对应的校正量，并使所计算出的校正量与各个子带图像相乘。
这里，子带图像校正量乘法部相当于图16中的1361～1363的乘法处理部。
由此，可通过对各个子带图像乘以校正量，来进行预定频带图像的校正。具体地 说，与第1实施方式同样地进行校正，以使作为校正对象的图像的振幅值成为与基准振幅值相同的值。此外，在本实施方式中，在分割为子带图像之前，插入基于时间性变动的陡峭边缘部去除处理的亮点区域去除处理，由此能够应对与振幅相应的控制。这里，所谓时间性变动的陡峭边缘部的去除处理，简单地说就是例如根据基于图像平均值设定的阈值对亮度等级进行判定的处理和其判定区域的删除处理(具体地说，例如形态学处理等)。另外，在本实施方式中，在选择多个子带图像之后，可仅对所选择的子带图像乘以校正量，或者对多个子带图像全部乘以校正量，对不需要的子带图像可乘以0。图在13或图16的框图中为后者的结构。
另外，内窥镜装置的光学系统包含控制对焦位置的对焦位置控制部和根据摄像图像的模糊量计算目标对焦位置的目标对焦位置计算部。然后，对焦位置控制部根据目标对焦位置计算部所计算出的目标对焦位置来控制对焦位置。
这里，所谓摄像图像的模糊量信息就是由模糊量信息提取部针对多个对焦位置中的多个摄像图像计算出的信息。另外，对焦位置控制部相当于图12中的对焦位置控制部206，目标对焦位置计算部相当于图12中的目标对焦位置计算部303。
由此，可进行自动对焦处理。其中，如图11所示，因为将基于在使透镜驱动到多个对焦位置之后求出目标对焦位置的对比度法的自动对焦作为前提，所以有时从脱离景深范围脱离。因此，并非是不需要基于图像处理的模糊恢复处理的情况。因为在短时间内出现对焦状态和模糊状态，所以在如本实施方式那样帧速率低的情况下，为了对用户提供没有不协调感的图像，图像处理的模糊恢复处理是重要的。
另外，模糊量校正部将在对焦位置上取得的摄像图像判定为是对焦摄像图像，在该对焦位置上已判定为利用对焦位置控制部进行了对焦。然后，根据对焦摄像图像的模糊量信息进行校正。
由此，能够使用在已判定为于自动对焦中对焦的对焦位置上取得的图像，来作为构成用于计算校正量的基准的对焦摄像图像。由此，除了进行与第1实施方式同样的基准振幅值的更新处理之外，还可以进行基于自动对焦的基准振幅值的更新处理，所以高精度地更新基准振幅值。
以上对应用了本发明的2个实施方式1～2及其变形例进行了说明，但本发明不直接限定于各实施方式1～2及其变形例，在实施阶段，可以在不脱离发明主旨的范围内对构成要素进行变形而具体化。另外，通过适当组合上述各实施方式1～2和变 形例所公开的多个构成要素，能形成各种发明。例如可以从各实施方式1～2及其变形例所记载的所有构成要素中删除掉某些构成要素。进而，还可以适当组合不同实施方式和变形例中所说明的构成要素。这样，能够在不脱离发明主旨的范围内实现各种变形和应用。
标号说明
100 光源部，101 白色光源，102 旋转滤色器，103 旋转驱动部，104 聚光透镜，200 摄像部，201 光纤，202 照明透镜，203 物镜，206 对焦位置控制部，207 对焦位置调整透镜，209 摄像元件，210 A/D转换部，300 处理器部，301 图像处理部，302 控制部，303 目标对焦位置计算部，310 图像构成处理部，320 纹理提取部，321区域提取部，322 滤波系数计算部，323 滤波处理部，324 噪声量估计部，325 减法处理部，326 区域提取部，327 滤波系数计算部，328 滤波处理部，329 滤色器参数控制部，340 纹理校正量计算部，341 振幅计算部，342 基准振幅更新判定部，343 基准振幅存储部，344 校正量计算部，345 校正量控制部，360 纹理校正部，370 合成部，400 显示部，500 外部I/F部，601 滤色器，602 滤色器，603 滤色器，604 旋转电机，1321 低通处理部，1322 下采样部，1323 减法处理部，1324 噪声量估计部，1325 核化部，1335 处理参数控制部，1341 振幅计算部，1342 基准振幅更新判定部，1343 基准振幅存储部，1344 校正量计算部，1353 校正量控制部，1361 乘法处理部，1362 乘法处理部，1363 乘法处理部，1364 上采样部，1365 加法处理部，1366 上采样部，1367 加法处理部，1368 处理参数控制部，1371 区域提取部，1372 平均振幅计算部，1373 平均振幅存储部，1374 目标对焦位置计算部，1383 目标对焦位置计算控制部，1384 目标对焦位置判定部。

Claims (25)

1.一种内窥镜装置，其特征在于，包含：
图像取得部，其按时序取得与通常观察状态相比光学系统的放大倍率是高倍率的放大观察状态下的摄像图像；
模糊量信息提取部，其从所述放大观察状态下的所述摄像图像中提取模糊量信息；以及
模糊量校正部，其根据所提取的所述模糊量信息来校正所述摄像图像，
所述模糊量信息提取部包含预定频带图像提取部，该预定频带图像提取部从所述摄像图像中提取预定频带成分的图像即预定频带图像，
所述预定频带图像提取部包含计算所述摄像图像的振幅值的摄像图像振幅计算部，
所述预定频带图像提取部在由所述摄像图像振幅计算部计算出的振幅值处于第1振幅范围时，不进行所述预定频带图像的提取，
在由所述摄像图像振幅计算部计算出的振幅值处于第2振幅范围时，进行所述预定频带图像的提取，所述第2振幅范围是与比所述第1振幅范围中的振幅值小的振幅值对应的范围。
2.根据权利要求1所述的内窥镜装置，其特征在于，
所述预定频带图像提取部在由所述摄像图像振幅计算部计算出的振幅值处于第3振幅范围时，不进行所述预定频带图像的提取，所述第3振幅范围是与比所述第2振幅范围中的振幅值小的振幅值对应的范围。
3.根据权利要求1所述的内窥镜装置，其特征在于，
所述预定频带图像是由所述摄像图像振幅计算部计算出的振幅值处于所述第2振幅范围并且频率成分处于第1频率范围的图像，所述第1频率范围是与比第2频率范围中的频率高的频率对应的范围。
4.根据权利要求2所述的内窥镜装置，其特征在于，
由所述摄像图像振幅计算部计算出的振幅值处于所述第2振幅范围的所述预定频带图像是与生物体表面的粘膜表面以及血管对应的图像。
5.根据权利要求2所述的内窥镜装置，其特征在于，
由所述摄像图像振幅计算部计算出的振幅值处于所述第1振幅范围的图像是与生物体表面的褶皱对应的图像，
由所述摄像图像振幅计算部计算出的振幅值处于所述第3振幅范围的图像是与噪声对应的图像。
6.根据权利要求1所述的内窥镜装置，其特征在于，
所述预定频带图像提取部包含提取条件控制部，该提取条件控制部根据所述内窥镜装置的所述光学系统的倍率信息来控制预定频带图像的提取条件。
7.根据权利要求6所述的内窥镜装置，其特征在于，
第1频率范围中的频率是比第2频率范围中的频率高的频率，
所述第1频率范围是大于第1频率阈值且小于第2频率阈值的范围，
当所述预定频带图像是频率成分处于第1频率范围的图像时，
由所述内窥镜装置的所述光学系统的倍率信息表示的倍率越大，所述预定频带图像提取部将所述第1频率阈值以及所述第2频率阈值设得越大。
8.根据权利要求6所述的内窥镜装置，其特征在于，
所述预定频带图像提取部包含：
频带分离部，其生成多个子带图像，该多个子带图像是将所述摄像图像分离为根据所述倍率信息决定的多个预定频带而得到的图像；以及
子带选择部，其从所述多个子带图像中选择1个或多个子带图像来生成所述预定频带图像。
9.根据权利要求6所述的内窥镜装置，其特征在于，
所述预定频带图像提取部包含第1滤波处理部、减法处理部、噪声量估计部和第2滤波处理部，
所述减法处理部通过取经由所述第1滤波处理部的第1滤波处理取得的图像与所述摄像图像的差分，来生成构造图像，
所述噪声量估计部根据所述提取条件来估计所述构造图像所包含的噪声量，
所述第2滤波处理部根据由所述噪声量估计部估计的噪声量，从所述构造图像中分离噪声，并取得所述预定频带图像。
10.根据权利要求9所述的内窥镜装置，其特征在于，
所述第1滤波处理部对第1振幅范围的图像进行使与所述第1频率范围以及所述第2频率范围对应的频率成分透过的低通滤波处理，
对第2振幅范围的图像进行使与所述第2频率范围对应的频率成分透过、并截止与所述第1频率范围对应的频率成分的低通滤波处理。
11.根据权利要求9所述的内窥镜装置，其特征在于，
所述第1滤波处理部包含：
区域提取部，其从所述摄像图像中提取关注像素的周边的预定区域；
滤波系数计算部，其计算所述预定区域内的关注像素与周边像素的空间距离以及像素值间距离，并且根据所述提取条件来计算针对各预定区域的像素的滤波系数；以及
滤波处理部，其利用所述预定区域和所述滤波系数进行滤波处理。
12.根据权利要求9所述的内窥镜装置，其特征在于，
所述第2滤波处理部对第2振幅范围的图像进行使与所述第1频率范围以及所述第2频率范围对应的频率成分透过的低通滤波处理，
对第3振幅范围的图像进行使与所述第2频率范围对应的频率成分透过、并截止与所述第1频率范围对应的频率成分的低通滤波处理。
13.根据权利要求9所述的内窥镜装置，其特征在于，
所述第2滤波处理部包含：
区域提取部，其从所述构造图像中提取关注像素的周边的预定区域；
滤波系数计算部，其计算所述预定区域内的关注像素与周边像素的空间距离以及像素值间距离，并且根据所述噪声量来计算针对各预定区域的像素的滤波系数；以及
噪声分离部，其根据所述提取区域和所述滤波系数进行滤波处理，由此从所述关注像素中分离噪声。
14.根据权利要求1所述的内窥镜装置，其特征在于，
所述模糊量校正部根据判定为处于对焦状态的摄像图像即对焦摄像图像的模糊量，对按时序取得的所述摄像图像进行校正。
15.根据权利要求14所述的内窥镜装置，其特征在于，
所述模糊量校正部包含预定频带图像振幅计算部，该预定频带图像振幅计算部计算由所述预定频带图像提取部提取出的所述预定频带图像的振幅值。
16.根据权利要求15所述的内窥镜装置，其特征在于，
所述模糊量校正部包含：
预定频带图像校正部，其根据由所述预定频带图像振幅计算部计算出的所述预定频带图像的振幅值来校正预定频带图像；以及
合成部，其合成所述摄像图像和已校正的所述预定频带图像。
17.根据权利要求16所述的内窥镜装置，其特征在于，
所述预定频带图像校正部包含：
基准振幅值选择部，其从所述预定频带图像振幅计算部按时序计算出的预定频带图像的振幅值中选择被判定为对焦状态的振幅值，作为基准振幅值；以及
校正量乘法部，其根据所述基准振幅值计算对所述预定频带图像的校正量，并进行乘法运算。
18.根据权利要求17所述的内窥镜装置，其特征在于，
所述预定频带图像提取部所提取的预定频带图像是由1个或多个频带构成的1个或多个子带图像，
所述校正量乘法部包含子带图像校正量乘法部，其根据与所述预定频带图像振幅计算部计算出的各子带图像对应的1个或多个振幅值和内窥镜装置的所述光学系统的倍率信息，来计算与各所述子带图像对应的校正量，将该校正量与各所述子带图像相乘。
19.根据权利要求14所述的内窥镜装置，其特征在于，
所述对焦摄像图像是在将内窥镜装置的所述光学系统切换为放大观察状态的时刻提取出的摄像图像。
20.根据权利要求15所述的内窥镜装置，其特征在于，
所述对焦摄像图像是在将内窥镜装置的所述光学系统切换为放大观察状态的时刻以后提取出的摄像图像，而且是所述预定频带图像的振幅值在预定期间内满足预定条件的摄像图像。
21.根据权利要求20所述的内窥镜装置，其特征在于，
所述对焦摄像图像是在将内窥镜装置的所述光学系统切换为放大观察状态的时刻以后提取出的摄像图像，而且是所述预定频带图像的振幅值大于基准振幅判定阈值且所述振幅值为极大值的摄像图像。
22.根据权利要求1所述的内窥镜装置，其特征在于，包含：
对焦位置控制部，其控制对焦位置；以及
目标对焦位置计算部，其针对基于多个对焦位置的摄像图像，根据由所述模糊量信息提取部计算出的模糊量信息来计算目标对焦位置，该多个对焦位置是被所述对焦位置控制部按时序移动的对焦位置，
所述对焦位置控制部根据所述目标对焦位置来控制对焦位置。
23.根据权利要求22所述的内窥镜装置，其特征在于，
所述模糊量校正部将对焦位置上的摄像图像判定为是对焦摄像图像，根据所述对焦摄像图像的模糊量信息进行校正，该对焦位置是被判定为由所述对焦位置控制部对准了焦的位置。
24.根据权利要求1所述的内窥镜装置，其特征在于，
所述放大观察状态是所述内窥镜装置的光学系统的放大倍率为预定倍率以上的状态。
25.一种图像处理方法，其特征在于，
进行如下处理，即按时序取得与通常观察状态相比光学系统的放大倍率是高倍率的放大观察状态下的摄像图像；
进行模糊量信息提取处理，即从所述放大观察状态下的所述摄像图像中提取模糊量信息；以及
进行模糊量校正处理，即根据所提取的所述模糊量信息来校正所述摄像图像，
在所述模糊量信息提取处理中，计算所述摄像图像的振幅值，
在计算出的所述振幅值处于第1振幅范围时，不进行预定频带图像提取处理，该预定频带图像提取处理是从所述摄像图像中提取预定频带成分的图像即预定频带图像，
在计算出的所述振幅值处于第2振幅范围时，进行所述预定频带图像提取处理，所述第2振幅范围是与比所述第1振幅范围中的振幅值小的振幅值对应的范围。
CN201180061990.4A 2010-12-24 2011-12-16 内窥镜装置以及图像处理方法 Active CN103269636B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-287943 2010-12-24
JP2010287943A JP5657375B2 (ja) 2010-12-24 2010-12-24 内視鏡装置及びプログラム
PCT/JP2011/079165 WO2012086536A1 (ja) 2010-12-24 2011-12-16 内視鏡装置及びプログラム

Publications (2)

Publication Number Publication Date
CN103269636A CN103269636A (zh) 2013-08-28
CN103269636B true CN103269636B (zh) 2015-08-05

Family

ID=46313808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180061990.4A Active CN103269636B (zh) 2010-12-24 2011-12-16 内窥镜装置以及图像处理方法

Country Status (5)

Country Link
US (1) US9492059B2 (zh)
EP (1) EP2656778A4 (zh)
JP (1) JP5657375B2 (zh)
CN (1) CN103269636B (zh)
WO (1) WO2012086536A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5657375B2 (ja) * 2010-12-24 2015-01-21 オリンパス株式会社 内視鏡装置及びプログラム
CN104584532B (zh) * 2012-08-23 2017-07-28 富士胶片株式会社 图像处理装置、摄像装置、计算机、图像处理方法及程序
JP6077340B2 (ja) * 2013-03-06 2017-02-08 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP6049518B2 (ja) * 2013-03-27 2016-12-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6109695B2 (ja) * 2013-09-27 2017-04-05 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
JP6415066B2 (ja) 2014-03-20 2018-10-31 キヤノン株式会社 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
CN106134178B (zh) * 2014-03-28 2018-02-23 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
JP2016046747A (ja) * 2014-08-26 2016-04-04 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像表示システム
JP6196599B2 (ja) * 2014-09-30 2017-09-13 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法
US11017504B2 (en) * 2016-01-29 2021-05-25 Intuitive Surgical Operations, Inc. Light level adaptive filter and method
JP6629639B2 (ja) 2016-03-07 2020-01-15 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2017158764A (ja) 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
JPWO2017169650A1 (ja) * 2016-03-31 2019-02-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、映像移動補正方法及び医療用観察システム
WO2018020560A1 (ja) 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP6833495B2 (ja) * 2016-12-15 2021-02-24 オリンパス株式会社 内視鏡
EP3590415A4 (en) * 2017-03-03 2020-03-18 Fujifilm Corporation ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD OF THE ENDOSCOPE SYSTEM
JP2018143400A (ja) * 2017-03-03 2018-09-20 ソニー株式会社 画像処理装置および方法、並びに内視鏡システム
JP7163913B2 (ja) 2017-06-05 2022-11-01 ソニーグループ株式会社 医療用システム及び制御ユニット
US11154179B2 (en) * 2017-08-31 2021-10-26 Sony Corporation Medical image processing apparatus, medical image processing system, and driving method of medical image processing apparatus
JP6804417B2 (ja) * 2017-09-26 2020-12-23 オリンパス株式会社 計測装置、計測システム、計測装置の作動方法、およびプログラム
US10580121B2 (en) * 2017-11-16 2020-03-03 Axis Ab Image noise reduction based on a modulation transfer function of a camera dome
JP7050817B2 (ja) * 2017-12-25 2022-04-08 富士フイルム株式会社 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム
JP7012549B2 (ja) * 2018-02-07 2022-01-28 オリンパス株式会社 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
JP6821090B2 (ja) * 2018-04-12 2021-01-27 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP4047408A4 (en) * 2019-11-22 2022-12-28 Sony Group Corporation IMAGE PROCESSING METHOD, DEVICE AND SYSTEM
CN112967209B (zh) * 2021-04-23 2022-08-02 上海埃尔顿医疗器械有限公司 一种基于多倍采样的内窥镜图像血管纹理增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1548645A1 (de) * 2003-12-19 2005-06-29 AgfaPhoto GmbH Verfahren zur Verarbeitung digitaler Bilddaten von verwackelten Aufnahmen
CN101420529A (zh) * 2007-10-23 2009-04-29 富士能株式会社 摄影装置及内窥镜系统

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501551B1 (en) * 1991-04-29 2002-12-31 Massachusetts Institute Of Technology Fiber optic imaging endoscope interferometer with at least one faraday rotator
US5392067A (en) * 1991-10-17 1995-02-21 Olympus Optical Co., Ltd. TV system for endoscopes
JP3292538B2 (ja) 1993-02-23 2002-06-17 富士写真光機株式会社 固体撮像素子を用いたカラー撮像装置
DE69625398T2 (de) * 1995-02-24 2003-09-04 Eastman Kodak Co Schwarzmuster-Korrektur für einen Ladungsübertragungssensor
JP3532368B2 (ja) 1996-12-10 2004-05-31 富士写真フイルム株式会社 内視鏡
US6603885B1 (en) 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
JP3998369B2 (ja) 1998-09-16 2007-10-24 富士フイルム株式会社 画像処理方法および画像処理装置
AU6417599A (en) * 1998-10-08 2000-04-26 University Of Kentucky Research Foundation, The Methods and apparatus for (in vivo) identification and characterization of vulnerable atherosclerotic plaques
DE19927129C1 (de) * 1999-06-15 2001-01-04 Wolf Gmbh Richard Fokussier- und Brennweiteneinstellvorrichtung für eine Videokamera
US6635011B1 (en) * 2000-01-14 2003-10-21 Pentax Corporation Electronic endoscope system
US6889075B2 (en) * 2000-05-03 2005-05-03 Rocky Mountain Biosystems, Inc. Optical imaging of subsurface anatomical structures and biomolecules
US7064777B2 (en) * 2000-08-31 2006-06-20 Canon Kabushiki Kaisha Blur correction aparatus, control apparatus to be used in a blur correction apparatus, image taking apparatus, control method to be used in these apparatuses and computer program product to be used with these apparatuses
JP2002209136A (ja) * 2001-01-05 2002-07-26 Canon Inc 撮影装置
US7217266B2 (en) * 2001-05-30 2007-05-15 Anderson R Rox Apparatus and method for laser treatment with spectroscopic feedback
WO2003011764A2 (en) * 2001-08-03 2003-02-13 Volker Westphal Real-time imaging system and method
US6919914B2 (en) * 2001-10-24 2005-07-19 Stryker Corporation Powered optical coupler and endoscopic viewing system using same
JP3955458B2 (ja) * 2001-11-06 2007-08-08 ペンタックス株式会社 内視鏡のオートフォーカス装置
US6885801B1 (en) * 2001-12-06 2005-04-26 Clear Image Technology Llc Enhancement of fiber based images
JP4175024B2 (ja) 2002-05-22 2008-11-05 ソニー株式会社 画像表示装置および画像処理装置、並びに画像処理方法
WO2004064620A2 (en) * 2003-01-14 2004-08-05 University Of Virginia Patent Foundation Ultrasonic transducer drive
WO2004103151A2 (en) * 2003-05-16 2004-12-02 Marc Shapiro Data entry system for an endoscopic examination
US6880943B2 (en) * 2003-06-04 2005-04-19 Itt Manufacturing Enterprises, Inc. High resolution image formation from a multiple aperture imaging system
US7339170B2 (en) * 2003-07-16 2008-03-04 Shrenik Deliwala Optical encoding and reconstruction
EP1706242A2 (en) * 2003-12-24 2006-10-04 The General Hospital Corporation Multi-channel optical imaging
JP2005332383A (ja) * 2004-04-23 2005-12-02 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP4558370B2 (ja) 2004-04-23 2010-10-06 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US9131861B2 (en) * 2004-11-30 2015-09-15 Academisch Medisch Centrum Pulsed lighting imaging systems and methods
EP1676522B1 (en) * 2004-12-30 2008-07-02 Given Imaging Ltd. System for locating an in-vivo signal source
US7894648B2 (en) * 2005-06-17 2011-02-22 Mayo Foundation For Medical Education And Research Colonoscopy video processing for quality metrics determination
JP2007193186A (ja) * 2006-01-20 2007-08-02 Olympus Corp 画像検出方法及び画像検出装置
WO2007116648A1 (ja) * 2006-04-03 2007-10-18 Konica Minolta Medical & Graphic, Inc. 放射線画像読取装置および診断システム
JP2008011491A (ja) 2006-05-30 2008-01-17 Kyocera Corp カメラシステム、監視カメラ、および撮像方法
JP5030507B2 (ja) * 2006-08-30 2012-09-19 オリンパスメディカルシステムズ株式会社 内視鏡の先端フードとフード付き内視鏡
GB2448421A (en) * 2007-04-11 2008-10-15 Forth Photonics Ltd Workstation for a colposcopy
JP4518197B2 (ja) * 2008-06-20 2010-08-04 ソニー株式会社 撮像装置、及び像振れ補正方法並びにプログラム
JP2010022772A (ja) * 2008-07-24 2010-02-04 Olympus Medical Systems Corp 内視鏡及び生体観察システム
US20100081928A1 (en) * 2008-09-29 2010-04-01 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Histological Facilitation systems and methods
CA2742273A1 (en) * 2008-11-04 2010-05-14 William Marsh Rice University Image mapping spectrometers
JP2012515576A (ja) * 2009-01-20 2012-07-12 ザ ジェネラル ホスピタル コーポレイション 内視鏡生検装置、システム、及び方法
JP5657375B2 (ja) * 2010-12-24 2015-01-21 オリンパス株式会社 内視鏡装置及びプログラム
JP5864880B2 (ja) * 2011-04-07 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5951211B2 (ja) * 2011-10-04 2016-07-13 オリンパス株式会社 合焦制御装置及び内視鏡装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1548645A1 (de) * 2003-12-19 2005-06-29 AgfaPhoto GmbH Verfahren zur Verarbeitung digitaler Bilddaten von verwackelten Aufnahmen
CN101420529A (zh) * 2007-10-23 2009-04-29 富士能株式会社 摄影装置及内窥镜系统

Also Published As

Publication number Publication date
EP2656778A4 (en) 2016-12-21
CN103269636A (zh) 2013-08-28
US9492059B2 (en) 2016-11-15
WO2012086536A1 (ja) 2012-06-28
JP2012135345A (ja) 2012-07-19
US20130286172A1 (en) 2013-10-31
EP2656778A1 (en) 2013-10-30
JP5657375B2 (ja) 2015-01-21

Similar Documents

Publication Publication Date Title
CN103269636B (zh) 内窥镜装置以及图像处理方法
US20160014328A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
US9154745B2 (en) Endscope apparatus and program
JP6150583B2 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
CN103561629B (zh) 内窥镜装置及内窥镜装置的工作方法
JP6137921B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN104883948B (zh) 图像处理装置以及图像处理方法
WO2017168986A1 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
CN105555180A (zh) 内窥镜装置和内窥镜装置的控制方法
CN105308651B (zh) 检测装置、学习装置、检测方法、学习方法
JP6150554B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP2014161355A (ja) 画像処理装置、内視鏡装置、画像処理方法及びプログラム
CN105007802A (zh) 图像处理装置、内窥镜装置、图像处理方法和图像处理程序
US9323978B2 (en) Image processing device, endoscope apparatus, and image processing method
JP2004113390A (ja) 光プローブ装置
JP6377171B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法
JP6168878B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant