CN105916430A - 内窥镜系统、内窥镜系统的操作方法及程序 - Google Patents

内窥镜系统、内窥镜系统的操作方法及程序 Download PDF

Info

Publication number
CN105916430A
CN105916430A CN201580004855.4A CN201580004855A CN105916430A CN 105916430 A CN105916430 A CN 105916430A CN 201580004855 A CN201580004855 A CN 201580004855A CN 105916430 A CN105916430 A CN 105916430A
Authority
CN
China
Prior art keywords
image
unit
frequency
low
picture signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580004855.4A
Other languages
English (en)
Other versions
CN105916430B (zh
Inventor
宫井岳志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105916430A publication Critical patent/CN105916430A/zh
Application granted granted Critical
Publication of CN105916430B publication Critical patent/CN105916430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本技术涉及一种内窥镜系统，在该内窥镜系统中，根据图像捕获条件，将分辨率与S/N比例调整为良好平衡，并且其中能够根据图像捕获条件改变处理负荷。本发明还涉及用于操作内窥镜系统的方法和程序。从体腔的图像信号提取包括低通分量的低通图像和包括高通分量的高通图像，由内窥镜装置捕获体腔的图像。当以预定缩小比例缩小低通图像并处理其以增强质量时，通过与缩小比例对应的放大比例放大图像。在这一点上，当基于指示图像捕获状态的条件信息在图像捕获期间的亮度足够并且高通分量不具有较高噪声分量含量时，低通图像和高通图像被加在一起并作为输出图像输出。当基于条件信息在图像捕获期间的亮度不足并且高通分量具有较高噪声分量含量时，仅输入低通图像作为输出图像。本技术可应用至内窥镜系统。

Description

内窥镜系统、内窥镜系统的操作方法及程序
技术领域
本技术涉及内窥镜系统、用于操作该内窥镜系统的方法以及程序，并且具体地，涉及根据由配置内窥镜系统的内窥镜装置成像的图像的图像质量增强处理中的成像条件能够将处理负荷的降低与分辨率的提高调整为良好平衡的内窥镜系统、用于操作内窥镜系统的方法以及程序。
背景技术
使用内窥镜系统成像包括：除了常见的白色光，利用诸如窄带光以及用于红外辐射(IR)观察和光动力学诊断(PDD)观察的近红外光的特殊光来成像。
对于使用这种特殊光的成像技术，例如，已经发明了使用通过利用特殊光来成像的输入图像的技术，其中，使用频率分离进行处理(参见专利文献1)。
现有技术文献
专利文献
专利文献1：特开2012-075545号公报
发明内容
本发明要解决的问题
顺便提及，在内窥镜系统等中，当以成像的输入图像的尺寸执行所有图像处理时，需要能够进行实时处理的配置，使得处理成本(处理时间、用于执行处理的硬件的尺寸)增加。具体地，近几年，由于成像的图像尺寸的分辨率增加的事实，诸如高清晰度(HD)和4K(粗略地，水平4000×垂直2000)，该趋势是显著的。
如上所述，内窥镜系统中的成像包括：使用白色光作为照明光的正常成像，以及使用诸如窄带光和近红外光的特殊光的特殊光成像。尽管由于光量不同，所以输入信号的性能不同，但是即使当使用照明光中的任一种时，图像处理也是相同的，使得可能不必要地适于每个图像信号的特性并且可能产生处理的浪费。
鉴于这种情况，已做出本技术，并且具体地，本技术允许根据依照亮度(诸如，照明光的类型和透镜孔径)的成像条件，调整为良好地平衡冲突的效果，诸如根据图像处理的处理负荷降低和图像质量增强。
问题的解决方案
本技术的一方面的内窥镜系统包括：内窥镜，该内窥镜在插入至体腔的插入部的顶端处设置有物镜；图像捕获单元，该图像捕获单元捕获从内窥镜输入并且由物镜压缩的光学图像、并且输出捕获的图像作为图像信号；低频分量提取单元，该低频分量提取单元提取具有低于图像信号的频率分量的低频图像；高频分量提取单元，该高频分量提取单元提取具有高于图像信号的频率分量的高频图像；图像质量增强处理器，该图像质量增强处理器向低频图像应用图像质量增强处理；以及输出单元，该输出单元至少输出其图像质量已被图像质量增强处理器增强的低频图像作为输出图像，并且根据由图像捕获单元执行图像捕获时的条件信息，可使得输出单元输出图像信号作为输出图像，该图像信号包括通过将高频图像的各个像素的像素值加到其图像质量已被增强的低频图像的各个像素的像素值而得到的像素值。
条件信息可以是表示是否满足如下条件的信息：在该条件下，由图像捕获单元捕获的图像信号具有更高比例的噪声分量。
在该条件信息中表示是否满足条件(在该条件下，可使得由图像捕获单元捕获的图像信号具有更高比例的噪声分量)的信息包括：表示由当图像捕获单元捕获图像时发射照明光的光源设备发射的光的类型的信息，以及关于内窥镜设备中的物镜的孔径以及位于图像捕获单元与物镜之间的中继透镜(relay lens)的孔径的信息。
可使得内窥镜系统进一步包括：尺寸缩小单元，该尺寸缩小单元以特定缩小比例缩小低频图像的尺寸；以及放大单元，该放大单元以对应于缩小比例的放大比例放大图像，并且可使得图像质量增强处理器向尺寸缩小的低频图像应用图像质量增强处理。
可使得尺寸缩小单元以根据条件信息的缩小比例缩小低频图像的尺寸，并且可使得放大单元以对应于根据条件信息的缩小比例的放大比例放大经历图像质量增强处理的尺寸缩小的低频图像。
可使得图像质量增强处理器包括空间方向噪声降低、时间方向噪声降低、颜色校正以及频带突出(frequency band emphasis)的处理。
根据由图像捕获单元执行图像捕获时的条件信息，当满足条件(在该条件下，由图像捕获单元捕获的图像信号具有更高比例的噪声分量)时，可使得高频分量提取单元停止从图像信号提取高频图像。
本技术的一方面的用于操作内窥镜系统的方法：
捕获从内窥镜输入的光学图像，该内窥镜在插入至体腔的插入部的顶端处设置有物镜，由物镜压缩该光学图像，并且输出捕获的图像作为图像信号；提取具有低于图像信号的频率分量的低频图像；提取具有高于图像信号的频率分量的高频图像；对低频图像应用图像质量增强处理；至少输出其图像质量已被图像质量增强处理器增强的低频图像作为输出图像；以及根据图像捕获时的条件信息，输出图像信号作为输出图像，该图像信号包括通过将高频图像的各个像素的像素值加到其图像质量已被增强的低频图像的单个像素的像素值而得到的像素值。
本技术的一方面的程序使得计算机用作如下部分：内窥镜，该内窥镜在插入至体腔的插入部的顶端处设置有物镜；图像捕获单元，该图像捕获单元捕获从内窥镜输入并且由物镜压缩的光学图像，并且输出捕获的图像作为图像信号；低频分量提取单元，该低频分量提取单元提取具有低于图像信号的频率分量的低频图像；高频分量提取单元，该高频分量提取单元提取具有高于图像信号的频率分量的高频图像；图像质量增强处理器，该图像质量增强处理器对低频图像应用图像质量增强处理；以及输出单元，该输出单元至少输出其图像质量已被图像质量增强处理器增强的低频图像作为输出图像，并且根据由图像捕获单元执行图像捕获时的条件信息，输出单元输出图像信号作为输出图像，该图像信号包括通过将高频图像的各个像素的像素值加到其图像质量已被增强的低频图像的各个像素的像素值而得到的像素值。
在本技术的一方面中，对从包括物镜(其设置在插入至体腔的刚性插入部的顶端处)的内窥镜装置输入并且被物镜聚焦的光学图像进行成像，并且输出该光学图像作为图像信号；低频图像是从图像信号提取的低频分量；高频图像是从图像信号提取的高频分量；对低频图像执行图像质量增强处理；并且至少其图像质量被增强的低频图像输出作为输出图像，并且根据成像时的条件信息，输出图像信号作为输出图像，该图像信号包括其中高频图像的各个像素的像素值加到图像质量已被增强的低频图像的单个像素的像素值的像素值。
本技术的一方面的内窥镜系统的配置中的每一个可以是独立的装置，并且可以是用作内窥镜系统的配置中的每一个的块。
本发明的效果
根据本技术的方面，根据依照内窥镜系统中的成像时的亮度的条件信息，冲突的效果可被调节为良好平衡，诸如，取决于图像的图像质量增强处理的处理负荷的降低以及分辨率提高。
附图说明
图1是示出了腹腔镜手术的概要的示图。
图2是示出了应用本技术的内窥镜系统的配置实例的框图。
图3是示出了图2的内窥镜装置的另一配置实例的框图。
图4是用于描述图2的图像处理装置的第一实施方式的配置实例的示图。
图5是用于描述通过图4的图像处理装置的图像处理的流程图。
图6是用于描述低频和高频合成单元的操作的示图。
图7是用于描述图2的图像处理装置中的图像处理的效果的示图。
图8是用于描述图2的图像处理装置中的图像处理的效果的示图。
图9是用于描述图2的图像处理装置的第二实施方式的配置实例的示图。
图10是用于描述通过图9的图像处理装置的图像处理的流程图。
图11是用于描述通用个人计算机的配置实例的示图。
具体实施方式
<内窥镜系统的概要>
图1是用于描述应用本技术的内窥镜系统的概要的示图。
近几年，在医疗场所中，内窥镜系统用在代替常规腹部手术执行的腹腔镜手术中。
就是说，如图1所示，在腹腔镜手术中，当执行腹部手术时，例如，代替常规执行的通过切割腹壁1来剖腹，被称为套管针2的开口仪器附接至若干位置中的腹壁1，并且腹腔镜(在下文中，被称为内窥镜装置或内窥镜)11以及处理工具3从设置至套管针2的孔插入身体。然后，当通过内窥镜装置11视频成像来实时观看患部(肿瘤等)4的图像时，由处理工具3执行诸如患部4的切除的处理。
在图1所示的线性棒状内窥镜装置11中，由外科医生、助理、内窥镜操作者、机器人等保持头部24。
<内窥镜系统的配置实例>
此处，参考图2，描述作为本技术的实施方式的内窥镜系统的配置实例。内窥镜系统10包括内窥镜装置11、图像处理装置12以及显示装置13。
除了经由线缆连接以外，内窥镜装置11与图像处理装置12可彼此无线连接。此外，图像处理装置12可布置在远离操作室的位置，并且可经由诸如内部LAN和因特网的网络来连接。对于图像处理装置12与显示装置13之间的连接，也是相同的。
内窥镜装置11包括线性棒状透镜镜筒部21和头部24。透镜镜筒部21被称为望远镜或刚性管，并且它的长度大约为几十厘米，并且插入身体的一侧的一端设置有物镜22，并且另一端连接至头部24。中继光学系统的光学透镜部23设置在透镜镜筒部21内部。顺便提及，透镜镜筒部21的形状不限于线性棒状形状。
粗略分类，透镜镜筒部21包括直视镜和斜视镜，在直视镜中，它的透镜镜筒轴线与图2的光轴相同，并且在斜视镜中，它的透镜镜筒轴线与光轴形成预定角度。图2的透镜镜筒部21是直视镜的实例。
成像单元25结合在头部24中。成像单元25具有诸如互补金属氧化物半导体(CMOS)图像传感器的成像元件，并且以预定帧速率将从透镜镜筒部21输入的患部的光学图像转换为图像信号。此外，内窥镜装置11连接至光源装置14，并且接收成像所需的光源的供应以照亮患部4。此时，光源装置14能够切换发射的各种波长的光，并且能够发射除了常规光以外的特殊光以特别地识别患部4。因此，对于由成像单元25成像的图像，除了通过常规光的图像信号以外，也可成像通过特殊光的图像信号。
在内窥镜装置11中，由物镜22聚焦的患部4的光学图像经由光学透镜部23进入头部24的成像单元25，并且在后续阶段中，该光学图像由成像单元25转换为预定帧速率的图像信号以输出至图像处理装置12。此外，头部24具有向图像处理装置12提供信息作为条件信息(诸如，由光源装置14发射的光的类型、物镜22的孔径以及光学透镜部23的孔径)的配置。通过为用户提供提前输入至头部24的未示出的一部分的配置，条件信息可提供至图像处理装置12作为来自该部分的条件信息。此外，它可被配置为使得图像处理装置12通过分析在图像处理装置12中成像的图像信号来自身识别条件信息。本文中，假定条件信息通过任意方法输入至图像处理装置12而进行描述。顺便提及，它可被配置为使得从光源装置14提供至图像处理装置12的光的类型的信息直接从光源装置14提供至图像处理装置12。
图3示出内窥镜装置11的另一配置实例。如图3所示，成像单元25可布置为紧接物镜22之后，并且透镜镜筒部21内部的光学透镜部23可省略。
<图像处理装置的第一实施方式>
接下来，参考图4的框图，描述图像处理装置12的第一实施方式的配置实例。
图像处理装置12包括：低频提取单元51、高频提取单元52、缩小单元53、噪声降低单元54、颜色校正单元55、放大单元56、低频与高频合成单元57、结构增强单元58以及电子缩放单元59。
低频提取单元51提取输入图像中的低频分量以便向高频提取单元52和缩小单元53输出该低频分量。更详细地，低频提取单元51包括，例如，低通滤波器(LPF)，并且提取输入图像中的低频分量以便向高频提取单元52和缩小单元53输出该低频分量作为低频图像。
高频提取单元52提取输入图像的每个像素的高频分量以便向低频与高频合成单元57输出该低频分量。更详细地，高频提取单元52例如，通过减去从输入图像的每个像素的低频提取单元51提供的低频分量，来提取输出至低频与高频合成单元57的高频分量。根据条件信息，当不需要高频分量时，高频提取单元52停止高频分量的提取，该条件信息包括光源装置14中发射的光源的类型以及物镜22和光学透镜部23的孔径。
缩小单元53将包括低频分量的图像信号缩小为低分辨率图像以便向噪声降低单元54输出该图像作为缩小图像。更详细地，缩小单元53通过例如以预定间隔细化来缩小像素分辨率以便缩小包括低频分量的图像信号的像素信号。
噪声降低单元54执行缩小图像的噪声降低处理。更具体地，噪声降低单元54例如，对缩小图像执行2维噪声降低(2D NR)处理(二维噪声降低处理)和3维噪声降低(3D NR)处理(三维噪声降低处理)以降低噪声，并且向放大单元56输出该处理的图像。本文中，二维噪声降低处理是所谓的使用缩小图像中的图像的信号的空间方向噪声降低处理，并且三维噪声降低处理是所谓的使用时间方向上的多个图像的时间方向噪声降低处理。
颜色校正单元55对执行过噪声降低处理的缩小图像执行颜色校正，以便向放大单元56输出该缩小图像。
当由缩小单元53执行缩小处理时，放大单元56以对应于缩小比例的放大比例来放大对其执行频带增强的缩小图像，并且将该图像转换为与输入图像的尺寸相同的图像尺寸，以便向低频与高频合成单元57输出该图像作为包括低频分量的图像信号的低频图像。
基于根据成像识别亮度的条件信息(诸如，来自光源装置14的光源的类型、内窥镜装置11中的光学透镜部23以及光学透镜部23的孔径尺寸的)，低频与高频合成单元57控制加法单元57a(图6)，该加法单元结合为向结构增强单元58输出图像作为只提高低频分量的图像信号的图像质量的图像信号或者高频分量的图像信号与低频分量的图像信号被加到一起的图像信号。
就是说，当任意信息(诸如，表示通过光源装置14发射的光是特殊光的信息、表示物镜22的孔径尺寸小于预定尺寸的信息以及光学透镜部23的孔径尺寸小于预定尺寸的信息)作为条件信息被包括时，它导致该信息表示根据成像的亮度为相对黑暗的状态。在这种情况下，它导致噪声分量大量包括在高频分量中，尤其在输入图像的高频分量中。因此，对于这种条件信息的情况，低频与高频合成单元57停止加法单元57a(图6)的操作，并且输出只包括其图像质量增强的低频分量的低频图像作为图像质量增强处理结果。就是说，在特殊光成像的情况下，从噪声分量被大量包括在高频分量中的事实，通过只输出低频图像，变得可以输出S/N(信号与噪声比例)优良但分辨率低的图像。
另一方面，当所有信息(诸如，表示通过光源装置14发射的光是包括白色光的常规光的信息、物镜22的孔径尺寸大于预定尺寸的信息以及光学透镜部23的孔径尺寸大于预定尺寸的信息)作为条件信息被包括时，它导致该信息表示根据成像的亮度为相对亮的状态。在这种情况下，即使在高频分量中，噪声分量也相对小。因此，低频与高频合成单元57控制加法单元57a(图6)输出其中高频分量被加到其每个像素的图像质量被提高的低频分量的结果作为图像质量增强处理结果。以此方式，通过基于根据成像时的亮度的条件信息来切换处理，其图像质量被适当提高的图像以合适的分辨率输出至后续阶段。就是说，在常规光成像的情况下，由于在高频分量中噪声分量相对小，所以可以通过将高频图像与其图像质量增强的低频图像相加来输出高分辨率且高质量的图像。
结构增强单元58对图像质量被提高的图像信号执行结构增强处理，以便向电子缩放单元59输出该图像信号。
电子缩放单元59将从结构增强单元58提供的且对其执行结构增强处理的图像信号电子放大至用于显示装置13的合适尺寸以输出该图像信号，。
<通过图4的图像处理装置的图像处理>
接下来，参考图5的流程图，描述通过图4的图像处理装置12的图像处理。顺便提及，本文中，假定提供表示是处于发射白色光(该白色光为从光源装置14向图像处理装置12的常规光)的常规成像的状态还是处于发射特殊光的特殊光成像的状态。此外，假定内窥镜装置11中的物镜22的信息以及根据光学透镜部23的孔径的信息也作为条件信息提供至图像处理装置12。
在步骤S11中，低频提取单元51利用LPF对输入图像的每个像素的低频分量执行提取处理，并且提取低频分量以输出至高频提取单元52和缩小单元53。
在步骤S12中，高频提取单元52确定来自光源装置14的条件信息是否是表示常规光成像或相对亮的常规光的成像状态(诸如，在使用其孔径大于预定尺寸的物镜22和光学透镜部23的情况)的条件信息。在步骤S12中，例如，当条件信息是表示它是相对明亮的状态的成像状态的一种时，处理进行至步骤S13。
在步骤S13中，通过减去输入图像的每个像素的低频分量，高频提取单元52提取高频分量并且向低频与高频合成单元57输出该高频分量。顺便提及，在步骤S12中，当条件信息表示相对黑暗状态的成像状态时，跳过步骤S13的处理。就是说，在该情况下，如随后描述的，在后续阶段中，不需要高频分量，使得不执行包括高频分量的图像信号的提取。因此，变得可以降低用于提取高频分量的处理负荷。
在步骤S14中，缩小单元53缩小包括输入图像的低频分量的图像信号的图像尺寸，以便向噪声降低单元54输出该图像信号作为包括低频分量的缩小图像。
在步骤S15中，噪声降低单元54对包括低频分量的缩小图像执行噪声降低处理，以便向颜色校正单元55输出缩小图像。
在步骤S16中，颜色校正单元55对执行过噪声降低处理且包括低频分量的缩小图像执行颜色校正，以便向放大单元56输出缩小图像。
在步骤S17中，当在缩小单元53中执行缩小时，放大单元56以对应于缩小比例的放大比例放大对其执行噪声降低的缩小图像，并且返回至与输入图像的图像尺寸相同的图像尺寸，以便向低频与高频合成单元57输出该图像。
在步骤S18中，基于条件信息，低频与高频合成单元57确定它是否处于相对明亮的状态的成像状态，并且当它表示它处于相对明亮的状态的成像状态时，处理进行至步骤S19。
在步骤S19中，低频与高频合成单元57将从放大单元56提供的且对其执行噪声降低处理的低频分量的图像信号(低频图像)与从高频提取单元52提供的高频分量的图像信号(高频图像)相加到一起以合成，并且向结构增强单元58输出该合成的图像信号作为其图像质量增强的图像(输出图像)。就是说，如图6的上部所示的，低频与高频合成单元57控制其内部的加法单元57a，以便将从放大单元56提供的且对其执行噪声降低处理的低频分量的图像信号(低频图像)与从高频提取单元52提供的高频分量的图像信号(高频图像)加到一起。然后，低频与高频合成单元57以高分辨率向结构增强单元58输出图像信号(其是加法结果)，并且作为其图像质量增强的图像信号(输出图像)。
另一方面，在步骤S18中，基于条件信息，当表示它是处于相对黑暗状态的成像状态时，处理进行至步骤S20。
在步骤S20中，低频与高频合成单元57只原样地输出包括从放大单元56提供至结构增强单元58的低频分量的图像信号(低频图像)作为对其执行噪声降低处理的图像信号(输出图像)。就是说，如图6的下部所示的，低频与高频合成单元57停止结合的加法单元57a中的操作，并且只向结构增强单元58输出从放大单元56提供的且对其执行噪声降低处理的低频分量的图像信号(低频图像)作为其图像质量增强的图像信号(输出图像)。
在步骤S21中，结构增强单元58对从低频与高频合成单元57提供的图像信号执行结构增强处理，以便向电子缩放单元59输出图像信号。
在步骤S22中，电子缩放单元59对执行过结构增强处理的图像信号执行转换处理，该转换处理将该图像信号转换为适于显示装置13的分辨率，并且将转换的图像信号输出至显示装置13以进行显示。
利用以上处理，基于条件信息，在包括白色光的常规光的成像或者亮度足够的常规成像(诸如，在包括大孔径的物镜22和光学透镜部23的条件下的成像(透镜镜筒部(光学范围)21的直径大且厚的情况))的情况下，由于成像的图像信号的高频分量中的噪声信号的比例低的事实，输出高频分量以及其图像质量增强的低频分量被加到一起的图像作为对其执行噪声降低处理的图像。
另一方面，在特殊光的成像或亮度不足的成像(诸如，小孔径的光学透镜部23(透镜镜筒部(光学范围)21的直径小且薄的情况))的情况下，由于图像信号的高频分量中的噪声信号的比例高的事实，在不将高频分量加到低频分量的情况下，输出其图像质量增强的低频分量的图像作为输出图像。
因此，如图7的左侧所示的，在白色光成像(常规成像)中，由于高频分量中的噪声分量小，所以与图的右侧所示的特殊光成像相比，变得可能输出高质量且高分辨率的图像。另一方面，如图的右侧所示的，在特殊光成像中，由于高频分量中的噪声分量大，所以与图的右侧所示的白色光成像(常规成像)相比，变得可以使得图像S/N比例状态高(由图中的箭头表示的量)但是分辨率低。
顺便提及，在图7中，在左边部分中，示出了高频分量被加至其的图像中的分辨率和S/N比例，并且在右边部分中，示出了高频分量未加至其的图像中的分辨率和S/N比例。
就是说，如图8的左上部的图像所示，对于高频分量中的噪声小的常规成像，可实现的分辨率比图8的右上部的图像的分辨率更高，并且可提供更清晰的图像。此外，如图8的右下部的图像所示，对于高频分量中的噪声大的特殊光成像，通过将S/N比例提高得优于图8的左下部的图像的S/N比例，变得可以提高灵敏度，并且提供更易识别的图像。
顺便提及，在图8中，在左边部分中，图像被示出为添加有高频分量，并且在右边部分中，图像被示出为未添加有高频分量。此外，在图8中，在上部示出常规成像中的图像，并且在下部示出特殊光成像的图像。
此外，对于低频分量，图像被缩小并且经历噪声降低和颜色校正，并且随后放大至返回至输入图像的尺寸，使得变得可以降低噪声降低和颜色校正的每个处理中的处理负荷。
因此，变得可以显示根据成像状态对其适当执行质量增强或S/N比例提高的图像。
此外，在上文中，已经描述在相对黑暗环境的成像情形(其中，成像条件包括大量噪声分量)的情况下，停止高频提取单元52中的操作的实例；然而，在低频与高频合成单元57中，高频分量不被加到低频分量，使得即使当高频提取单元52始终操作时，也能够实现相同效果。
<图像处理装置的第二实施方式>
在上文中，已经描述输入图像的低频分量被缩小至统一尺寸并且经历噪声降低和颜色校正并且随后被放大的实例。然而，当变黑暗时，包括在高频分量中的噪声分量的比例的水平(即，S/N比例)降低，并且噪声比例增加。因此，例如，缩小尺寸可根据诸如成像时的输入图像和亮度的成像条件而改变。
图9示出图像处理装置12的第二实施方式的配置实例，其中，使得缩小尺寸根据诸如成像时的输入图像和亮度的成像条件而改变。顺便提及，在图9的图像处理装置12中，与图4中的图像处理装置12的差异在于：提供缩小单元81和放大单元82而不是缩小单元53和放大单元56。
尽管缩小单元81与缩小单元53基本配置相同，但是缩小单元81进一步根据成像条件改变缩小比例并且缩小输入图像以进行输出。就是说，根据成像条件，对于更黑暗、噪声分量大且S/N比例低的图像，设定更高的缩小比例；并且，当条件更明亮且更接近常规成像时，使缩小比例更小。
根据成像条件，放大单元82以对应于缩小单元81的缩小比例的放大比例放大图像信号，以便向低频与高频合成单元57输出该图像信号。
就是说，利用这种配置，由于根据成像条件以缩小比例缩小的图像经历噪声降低和颜色校正并且随后放大以输出至低频与高频合成单元57，所以变得可以根据输入图像的噪声水平执行适当处理，并且变得可以适当降低处理负荷。
<图9的图像处理装置中的图像处理>
接下来，参考图10的流程图，描述图9的图像处理装置12中的图像处理。顺便提及，图10的流程图中的步骤S41-S43、S45、S46、S48-S52的处理与图5中的步骤S11-S13、S15、S16、S18-S22相同，因此省略其描述。
就是说，在图10中的步骤S41-S43中，在提取低频分量和高频分量的图像信号之后，在步骤S44中，基于条件信息，随着条件更接近常规成像的条件，缩小单元81使得缩小比例更小并且缩小以将尺寸保留得更接近原始图像，并且高频分量包括大量噪声分量的图像(诸如，特殊成像)被缩小至更小尺寸。
当在步骤S45、S46中执行噪声降低和颜色校正时，在步骤S47中，基于条件信息，放大单元82以对应于缩小单元81中的缩小比例的放大比例来放大图像，以便向低频与高频合成单元57输出该图像。
然后，在步骤S48-S52中，执行高频与低频合成、结构增强以及电子缩放处理。
因此，与上述处理相同，根据成像条件，分辨率与S/N比例被调整为良好平衡，并且进一步地，变得可以根据成像条件适当降低处理负荷。
<由软件执行的实例>
顺便提交，上述一系列处理可由硬件执行；然而，它也可由软件执行。当由软件执行该系列处理时，配置软件的程序从记录介质安装至结合在专用硬件中的计算机，或者，例如，通过安装各种程序能够执行各种功能的通用个人计算机。
图11示出通用个人计算机的配置实例。个人计算机结合中央处理单元(CPU)1001。CPU 1001经由总线1004连接至输入/输出接口1005。总线1004连接至只读存储器(ROM)1002和随机存取存储器(RAM)1003。
输入/输出接口1005连接至：输入单元1006，该输入单元包括诸如键盘、用于用户输入操作命令的鼠标的输入设备；输出单元1007，该输出设备用于向显示设备输出处理操作屏幕并且输出处理结果的图像；存储单元1008，该存储单元包括用于存储程序和各种数据的硬盘驱动等；以及通信单元1009，该通信单元包括用于经由以因特网为代表的网络执行通信处理的局域网(LAN)适配器等。此外，连接驱动器1010以从可移除介质1011(诸如，磁盘(包括柔性磁盘)、光盘(包括光盘-只读存储器(CD-ROM)、数字通用磁盘(DVD)、磁光盘(包括迷你磁碟(MD))或半导体存储器)读取数据并且将数据写入至可移除介质1011。
CPU 1001根据存储在ROM 1002中的程序或者从可移除介质1011(诸如，磁盘、光盘、磁光盘或半导体存储器)读取的安装至存储单元1008且从存储单元1008加载至RAM1003的程序来执行各类处理。在RAM 1003中，也适当存储CPU 1001执行各种处理所需的数据。
在如上所述配置的计算机中，例如，CPU 1001经由输入/输出接口1005以及总线1004将存储在存储单元1008中的程序加载至RAM 1003，以便执行上述一系列处理。
例如，通过记录在可移除介质1011中作为封装介质等，可提供由计算机(CPU1001)执行的程序。此外，经由有线或无线传输介质(例如，局域网、因特网或数字卫星广播)，可提供该程序。
在计算机中，通过将可移除介质1011安装至驱动器1010，程序可经由输入/输出接口1005安装至存储单元1008。此外，通过经由有线或无线传输介质来接收通信单元1009，程序可安装至存储单元1008。此外，该程序可提前安装至ROM 1002或存储单元1008。
顺便提及，由计算机执行的程序可以是沿着本文描述的顺序以时间序列来执行处理的程序，也可以是并行地或在需要时(诸如，被调用时)执行处理的程序。
此外，本文中，系统意味着多个组成部分(装置、模块(部件)等)的聚合，并且与该组成部分是否处于相同机柜中无关。因此，容纳在单独机柜中并且经由网络彼此连接的多个装置与在一个机柜中容纳多个模块的一个装置都是系统。
顺便提及，本技术的实施方式并不局限于上述实施方式，并且在不背离本技术的范围的情况下，各种变形是可能的。
例如，本技术可采用云计算的配置，该云计算经由网络分享多个装置中的一个功能以协作地进行处理。
此外，在以上流程图中描述的每个步骤可通过在多个装置中共享而执行，而不是通过一个装置执行。
此外，当多个处理被包括在一个步骤中时，包括在一个步骤中的多个处理可通过在多个装置中共享而执行，而不是通过一个装置执行。
顺便提及，本技术还可采用以下配置。
(1)一种内窥镜系统，包括：
内窥镜装置，该内窥镜装置包括设置在插入至体腔的刚性插入部的顶端处的物镜；
成像单元，该成像单元用于对从内窥镜装置输入并且由物镜聚焦的光学图像进行成像，并且输出该光学图像作为图像信号；
低频分量提取单元，该低频分量提取单元用于从图像信号提取作为频率分量的低频图像；
高频分量提取单元，该高频分量提取单元用于从图像信号提取作为高频分量的高频图像；
图像质量增强处理单元，该图像质量增强处理单元用于对低频图像执行图像质量增强处理；以及
输出单元，该输出单元用于至少输出其图像质量已被图像质量增强处理单元增强的低频图像作为输出图像，其中，
根据在成像单元中成像时的条件信息，输出单元输出如下图像信号作为输出图像：该图像信号包括其中高频图像的每个像素的像素值被加到图像质量已被增强的低频图像的每个像素的像素值的像素值。
(2)根据项(1)所述的内窥镜系统，其中，
条件信息是表示是否处于增加在成像单元中成像的图像信号的噪声分量的比例的条件的信息。
(3)根据项(2)所述的内窥镜系统，其中，
在条件信息中表示是否处于增加在成像单元中成像的图像信号的噪声分量的比例的条件的信息包括：表示由用于在成像单元执行成像时发射照明光的光源装置发射的光的类型的信息，以及内窥镜装置中的物镜的孔径和设置在成像单元与物镜之间的中继透镜的孔径的信息。
(4)根据项(1)至项(3)中任一项所述的内窥镜系统，进一步包括：
缩小单元，该缩小单元用于以预定缩小比例缩小低频图像；以及
放大单元，该放大单元用于以对应于缩小比例的放大比例放大图像，其中，
图像质量增强处理单元对缩小的低频图像执行图像质量增强处理。
(5)根据项(4)所述的内窥镜系统，其中，
缩小单元以根据条件信息的缩小比例缩小低频图像；并且
放大单元根据条件信息以对应于缩小比例的缩放比例放大已经对其执行图像质量增强处理的低频图像的缩小图像。
(6)根据项(1)至项(5)中任一项所述的内窥镜系统，其中，
图像质量增强处理单元包括空间方向噪声降低、时间方向噪声降低、颜色校正以及频带增强的处理。
(7)根据项(1)至项(6)中任一项所述的内窥镜系统，其中，
根据在成像单元中成像时的条件信息，当处于增加在成像单元中成像的图像信号的噪声分量的比例的条件时，高频分量提取单元停止从图像信号提取高频图像。
(8)一种用于操作内窥镜系统的方法，包括：
对从内窥镜装置输入并且由物镜聚焦的光学图像进行成像，该内窥镜装置包括设置在插入至体腔的刚性插入部的顶端处的物镜，并且输出光学图像作为图像信号；
从图像信号提取作为低频分量的低频图像；
从图像信号提取作为高频分量的高频图像；
对低频图像执行图像质量增强处理；
至少输出其图像质量已被图像质量增强处理单元增强的低频图像作为输出图像；以及
根据成像时的条件信息，输出如下图像信号作为输出图像：该图像信号包括其中高频图像的每个像素的像素值被加到图像质量已被增强的低频图像的每个像素的像素值的像素值。
(9)一种用于使计算机用作如下部分的程序：
内窥镜装置，该内窥镜装置包括设置在插入至体腔的刚性插入部的顶端处的物镜；
成像单元，该成像单元用于对从内窥镜装置输入并且由物镜聚焦的光学图像进行成像、并且输出光学图像作为图像信号；
低频分量提取单元，该低频分量提取单元用于从图像信号提取作为低频分量的低频图像；
高频分量提取单元，该高频分量提取单元用于从图像信号提取作为高频分量的高频图像；
图像质量增强处理单元，该图像质量增强处理单元用于对低频图像执行图像质量增强处理；以及
输出单元，该输出单元用于至少输出其图像质量已被图像质量增强处理单元增强的低频图像作为输出图像，其中，
根据在成像单元中成像时的条件信息，输出单元输出如下图像信号作为输出图像：该图像信号包括其中高频图像的每个像素的像素值被加到图像质量已被提高的低频图像的每个像素的像素值的像素值。
符号说明
2 套管针
10 内窥镜系统
11 内窥镜装置
12 图像处理装置
13 显示装置
14 光源装置
21 透镜镜筒部
22 物镜
23 光学透镜部
24 头部
25 成像单元
51 低频提取单元
52 高频提取单元
53 缩小单元
54 噪声降低单元
55 颜色校正单元
56 放大单元
57 低频与高频合成单元
58 结构增强单元
59 电子缩放
81 缩小单元
82 放大单元。

Claims (9)

1.一种内窥镜系统，包括：
内窥镜，在将插入至体腔的插入部的顶端处设置有物镜；
图像捕获单元，捕获从所述内窥镜输入并且由所述物镜会聚的光学图像、并且输出所捕获的图像作为图像信号；
低频分量提取单元，提取频率分量低于所述图像信号的低频图像；
高频分量提取单元，提取频率分量高于所述图像信号的高频图像；
图像质量增强处理器，对所述低频图像应用图像质量增强处理；以及
输出单元，至少输出图像质量已被所述图像质量增强处理器增强的所述低频图像作为输出图像，
其中，根据由所述图像捕获单元执行图像捕获时的条件信息，所述输出单元输出如下图像信号作为所述输出图像：所述图像信号包括通过将所述高频图像的各个像素的像素值加到图像质量已被增强的所述低频图像的各个像素的像素值而得到的像素值。
2.根据权利要求1所述的内窥镜系统，
其中，所述条件信息是表示是否满足如下条件的信息：在所述条件下，由所述图像捕获单元捕获的所述图像信号具有更高比例的噪声分量。
3.根据权利要求2所述的内窥镜系统，
其中，在所述条件信息中表示是否满足所述条件的信息包括表示由在所述图像捕获单元捕获图像时发射照明光的光源设备发射的光的类型的信息、以及关于所述内窥镜设备中的所述物镜的孔径以及位于所述图像捕获单元与所述物镜之间的中继透镜的孔径的信息，在所述条件下，由所述图像捕获单元捕获的所述图像信号具有更高比例的噪声分量。
4.根据权利要求1所述的内窥镜系统，进一步包括：
尺寸缩小单元，以特定缩小比例缩小所述低频图像的尺寸；以及
放大单元，以对应于所述缩小比例的放大比例放大图像，
其中，所述图像质量增强处理器对尺寸缩小的所述低频图像应用所述图像质量增强处理。
5.根据权利要求4所述的内窥镜系统，
其中，所述尺寸缩小单元以根据所述条件信息的缩小比例缩小所述低频图像的尺寸，并且
所述放大单元以与根据所述条件信息的所述缩小比例对应的放大比例放大已经经历所述图像质量增强处理的尺寸缩小的所述低频图像。
6.根据权利要求1所述的内窥镜系统，
其中，所述图像质量增强处理器包括空间方向噪声降低、时间方向噪声降低、颜色校正以及频带突出的处理。
7.根据权利要求1所述的内窥镜系统，
其中，根据由所述图像捕获单元执行图像捕获时的所述条件信息，当满足如下条件时所述高频分量提取单元停止从所述图像信号提取所述高频图像：在所述条件下，由所述图像捕获单元捕获的所述图像信号具有更高比例的噪声分量。
8.一种内窥镜系统的操作方法，所述方法包括：
捕获从内窥镜输入的光学图像，并且输出所捕获的图像作为图像信号，所述内窥镜在将插入至体腔的插入部的顶端处设置有物镜，所述光学图像由所述物镜会聚；
提取频率分量低于所述图像信号的低频图像；
提取频率分量高于所述图像信号的高频图像；
对所述低频图像应用图像质量增强处理；
至少输出图像质量已被图像质量增强处理器增强的所述低频图像作为输出图像；以及
根据图像捕获时的条件信息，输出如下图像信号作为所述输出图像：所述图像信号包括通过将所述高频图像的各个像素的像素值加到图像质量已被增强的所述低频图像的各个像素的像素值而得到的像素值。
9.一种用于使计算机用作如下部分的程序：
内窥镜，在将插入至体腔的插入部的顶端处设置有物镜；
图像捕获单元，捕获从所述内窥镜输入并且由所述物镜会聚的光学图像、并且输出所捕获的图像作为图像信号；
低频分量提取单元，提取频率分量低于所述图像信号的低频图像；
高频分量提取单元，提取频率分量高于所述图像信号的高频图像；
图像质量增强处理器，对所述低频图像应用图像质量增强处理；以及
输出单元，至少输出图像质量已被所述图像质量增强处理器增强的所述低频图像作为输出图像，
其中，根据由所述图像捕获单元执行图像捕获时的条件信息，所述输出单元输出如下图像信号作为所述输出图像：所述图像信号包括通过将所述高频图像的各个像素的像素值加到图像质量已被增强的所述低频图像的各个像素的像素值而得到的像素值。
CN201580004855.4A 2014-11-25 2015-11-12 内窥镜系统以及内窥镜系统的操作方法 Active CN105916430B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014237702 2014-11-25
JP2014-237702 2014-11-25
PCT/JP2015/081823 WO2016084608A1 (ja) 2014-11-25 2015-11-12 内視鏡システム、および内視鏡システムの動作方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN105916430A true CN105916430A (zh) 2016-08-31
CN105916430B CN105916430B (zh) 2019-04-23

Family

ID=56074177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580004855.4A Active CN105916430B (zh) 2014-11-25 2015-11-12 内窥镜系统以及内窥镜系统的操作方法

Country Status (4)

Country Link
US (2) US9986890B2 (zh)
JP (2) JP6020950B1 (zh)
CN (1) CN105916430B (zh)
WO (1) WO2016084608A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949281A (zh) * 2019-03-11 2019-06-28 哈尔滨工业大学（威海） 一种胃镜图像质量检测方法及装置
CN110381807A (zh) * 2017-03-03 2019-10-25 富士胶片株式会社 内窥镜系统、处理器装置及内窥镜系统的工作方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6631331B2 (ja) * 2016-03-10 2020-01-15 富士通株式会社 生体認証装置、生体認証方法および生体認証プログラム
CN109314749B (zh) * 2016-06-28 2022-04-05 索尼公司 成像设备、成像方法和程序
JP2018148973A (ja) * 2017-03-10 2018-09-27 株式会社Ｊｖｃケンウッド 手術システム、手術器具、トロカール及び判定方法
JP7049474B2 (ja) * 2018-09-20 2022-04-06 オリンパス株式会社 画像処理装置、内視鏡システム、および画像処理方法
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
JP7406892B2 (ja) 2019-03-11 2023-12-28 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
JP2021065370A (ja) * 2019-10-21 2021-04-30 ソニー株式会社 画像処理装置、画像処理方法および内視鏡システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4888639A (en) * 1987-05-22 1989-12-19 Olympous Optical Co., Ltd. Endoscope apparatus having integrated disconnectable light transmitting and image signal transmitting cord
CN1794783A (zh) * 2004-12-22 2006-06-28 索尼株式会社 图像处理装置、图像处理方法及摄像装置
JP2009100936A (ja) * 2007-10-23 2009-05-14 Fujinon Corp 画像処理装置
US20110128296A1 (en) * 2009-11-30 2011-06-02 Fujitsu Limited Image processing apparatus, non-transitory storage medium storing image processing program and image processing method
CN102754443A (zh) * 2010-02-12 2012-10-24 佳能株式会社 图像处理设备和图像处理方法
CN104125442A (zh) * 2013-04-26 2014-10-29 索尼公司 图像处理方法、装置以及电子设备

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2643965B2 (ja) * 1988-01-19 1997-08-25 オリンパス光学工業株式会社 内視鏡装置
JP4370008B2 (ja) * 1998-11-17 2009-11-25 オリンパス株式会社 内視鏡画像処理装置
TWI286032B (en) * 2005-07-05 2007-08-21 Ali Corp Image enhancement system
JP5355846B2 (ja) * 2006-05-08 2013-11-27 オリンパスメディカルシステムズ株式会社 内視鏡用画像処理装置
JP2008015741A (ja) * 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置
US7949182B2 (en) * 2007-01-25 2011-05-24 Hewlett-Packard Development Company, L.P. Combining differently exposed images of the same object
JP5076755B2 (ja) * 2007-09-07 2012-11-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2009253760A (ja) * 2008-04-08 2009-10-29 Olympus Imaging Corp 画像処理装置、画像処理方法及び電子機器
KR101493694B1 (ko) * 2008-08-01 2015-02-16 삼성전자주식회사 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체
KR101538655B1 (ko) * 2008-11-21 2015-07-22 삼성전자주식회사 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체
JP5493760B2 (ja) * 2009-01-19 2014-05-14 株式会社ニコン 画像処理装置およびデジタルカメラ
JP5468930B2 (ja) * 2009-02-18 2014-04-09 オリンパス株式会社 画像処理装置及び画像処理プログラム
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
KR101618298B1 (ko) * 2009-10-23 2016-05-09 삼성전자주식회사 고감도 영상 생성 장치 및 방법
JP4973719B2 (ja) * 2009-11-11 2012-07-11 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
JP5640370B2 (ja) * 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
JP5346856B2 (ja) * 2010-03-18 2013-11-20 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法及び撮像装置
JP2011234342A (ja) * 2010-04-08 2011-11-17 Canon Inc 画像処理装置及びその制御方法
JP2011218090A (ja) * 2010-04-14 2011-11-04 Olympus Corp 画像処理装置、内視鏡システム及びプログラム
JP4991907B2 (ja) * 2010-05-11 2012-08-08 キヤノン株式会社 画像処理装置、および、画像処理装置の制御方法
JP2012075545A (ja) 2010-09-30 2012-04-19 Fujifilm Corp 内視鏡システムおよび内視鏡の較正方法
JP5335017B2 (ja) * 2011-02-24 2013-11-06 富士フイルム株式会社 内視鏡装置
KR101828411B1 (ko) * 2011-09-21 2018-02-13 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
JP5816511B2 (ja) * 2011-10-04 2015-11-18 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP2014002635A (ja) * 2012-06-20 2014-01-09 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2014021928A (ja) * 2012-07-23 2014-02-03 Canon Inc 画像処理装置、画像処理方法およびプログラム
US9639915B2 (en) * 2012-08-08 2017-05-02 Samsung Electronics Co., Ltd. Image processing method and apparatus
US9106813B2 (en) * 2013-02-27 2015-08-11 Samsung Electronics Co., Ltd. Noise suppression devices and image capturing apparatuses having the same
JP2014230176A (ja) * 2013-05-23 2014-12-08 ソニー株式会社 画像信号処理装置、画像信号処理方法、撮像装置および画像表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4888639A (en) * 1987-05-22 1989-12-19 Olympous Optical Co., Ltd. Endoscope apparatus having integrated disconnectable light transmitting and image signal transmitting cord
CN1794783A (zh) * 2004-12-22 2006-06-28 索尼株式会社 图像处理装置、图像处理方法及摄像装置
JP2009100936A (ja) * 2007-10-23 2009-05-14 Fujinon Corp 画像処理装置
US20110128296A1 (en) * 2009-11-30 2011-06-02 Fujitsu Limited Image processing apparatus, non-transitory storage medium storing image processing program and image processing method
CN102754443A (zh) * 2010-02-12 2012-10-24 佳能株式会社 图像处理设备和图像处理方法
CN104125442A (zh) * 2013-04-26 2014-10-29 索尼公司 图像处理方法、装置以及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381807A (zh) * 2017-03-03 2019-10-25 富士胶片株式会社 内窥镜系统、处理器装置及内窥镜系统的工作方法
CN110381807B (zh) * 2017-03-03 2022-01-18 富士胶片株式会社 内窥镜系统、处理器装置及内窥镜系统的工作方法
US11759092B2 (en) 2017-03-03 2023-09-19 Fujifilm Corporation Endoscope system, processor device, and method of operating endoscope system
CN109949281A (zh) * 2019-03-11 2019-06-28 哈尔滨工业大学（威海） 一种胃镜图像质量检测方法及装置

Also Published As

Publication number Publication date
US10799087B2 (en) 2020-10-13
US9986890B2 (en) 2018-06-05
US20170251901A1 (en) 2017-09-07
JPWO2016084608A1 (ja) 2017-04-27
JP2017000839A (ja) 2017-01-05
WO2016084608A1 (ja) 2016-06-02
CN105916430B (zh) 2019-04-23
US20180263462A1 (en) 2018-09-20
JP6794747B2 (ja) 2020-12-02
JP6020950B1 (ja) 2016-11-02

Similar Documents

Publication Publication Date Title
CN105916430A (zh) 内窥镜系统、内窥镜系统的操作方法及程序
JP5882455B2 (ja) 高解像度マルチスペクトル画像キャプチャ
US8290309B2 (en) Super-resolution method for image display
CN113168670A (zh) 使用神经网络的亮点去除
US9544572B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium
JP2007124088A (ja) 画像撮影装置
US20140015954A1 (en) Image processing apparatus, image processing system, image processing method, and image processing program
KR20190004270A (ko) 모노 및 컬러 이미지들에 대한 강도 등화의 수행
JP7212554B2 (ja) 情報処理方法、情報処理装置、及びプログラム
CN109314749A (zh) 成像设备、成像方法和程序
JP2012249070A (ja) 撮像装置及び撮像方法
JP2015164512A (ja) 医療用皮膚検査装置
WO2015162409A1 (en) Real-time endoscopic image enhancement
WO2015194421A1 (ja) 医療用システム及びその画像処理設定方法
CN117764994B (zh) 基于人工智能的胆胰成像系统及方法
Iakovidis et al. Efficient homography-based video visualization for wireless capsule endoscopy
JP6807869B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN114651439A (zh) 信息处理系统、内窥镜系统、已学习模型、信息存储介质及信息处理方法
WO2017221412A1 (ja) 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
KR20200056709A (ko) 3차원 영상을 렌더링하는 방법, 상기 방법을 사용하는 영상처리장치, 상기 영상처리장치와 연동하는 촬영장치, 상기 촬영장치의 촬영방법, 및 3차원 영상을 렌더링하는 시스템
CN109076144A (zh) 图像处理装置、图像处理方法以及图像处理程序
WO2017175452A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN118134788A (zh) 图像融合方法、装置、存储介质以及终端
Spyrou et al. Panoramic visual summaries for efficient reading of capsule endoscopy videos
US20120120245A1 (en) System and method for multi-resolution sharpness transport across color channels

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant