CN106999019B - 图像处理装置、图像处理方法、记录介质以及内窥镜装置 - Google Patents

图像处理装置、图像处理方法、记录介质以及内窥镜装置 Download PDF

Info

Publication number
CN106999019B
CN106999019B CN201480083410.5A CN201480083410A CN106999019B CN 106999019 B CN106999019 B CN 106999019B CN 201480083410 A CN201480083410 A CN 201480083410A CN 106999019 B CN106999019 B CN 106999019B
Authority
CN
China
Prior art keywords
pixel
interpolation
signal
light
electric signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480083410.5A
Other languages
English (en)
Other versions
CN106999019A (zh
Inventor
佐佐木宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN106999019A publication Critical patent/CN106999019A/zh
Application granted granted Critical
Publication of CN106999019B publication Critical patent/CN106999019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G02B26/008—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/044—Picture signal generators using solid-state devices having a single pick-up sensor using sequential colour illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

本发明的图像处理装置根据摄像元件生成的电信号而生成图像信号，摄像元件呈矩阵状配置有第一像素和第二像素，第一像素的密度比第二像素的各个颜色成分的密度高，第一像素生成白色照明光的亮度成分即第一亮度成分的电信号，第二像素生成包含第二亮度成分在内的颜色成分的电信号，第二亮度成分是窄带照明光的亮度成分，该图像处理装置具有：插值色差计算部，其对第二像素位置处的第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与第二像素生成的颜色成分的电信号之差而得的色差信号；色差插值部，其根据插值色差计算部生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及图像信号生成部，其根据插值后的色差信号和插值色差计算部生成的亮度成分的电信号而生成第二像素所生成的颜色成分的电信号。

Description

图像处理装置、图像处理方法、记录介质以及内窥镜装置
技术领域
本发明涉及对摄像元件所生成的摄像信号实施信号处理而生成图像信号的图像处理装置、图像处理方法、图像处理程序、以及具有该图像处理装置的内窥镜装置。
背景技术
以往，在医疗领域和工业领域中为了各种检查而广泛使用内窥镜装置。其中，关于医疗用的内窥镜装置，通过将挠性的插入部插入到患者等被检体的体腔内，即使不切开被检体也能够获取体腔内的体内图像，因此对被检体的负担小，而得以普及，该插入部呈细长形状，在前端设置有具有多个像素的摄像元件。
作为这样的内窥镜装置的观察方式，使用了白色的照明光(白色照明光)的白色照明光观察方式和使用了比白色的波段窄的波段即窄带的照明光(窄带照明光)的窄带光观察方式被广为人知。其中，窄带光观察方式例如能够获得对存在于生物体的粘膜表层(生物体表层)的毛细血管和粘膜细微图案等进行强调显示的图像。根据这样的窄带光观察方式，能够更准确地发现生物体的粘膜表层中的病变部。关于这样的内窥镜装置的观察方式，期望切换白色照明光观察方式与窄带光观察方式进行观察。
作为切换白色照明光观察方式与窄带光观察方式进行观察的技术，提出了一种内窥镜系统，该内窥镜系统能够切换白色照明光观察模式与窄带光观察模式，在所述白色照明光观察模式中，对体腔内的组织依次照射R、G、B这三原色的照明光，根据它们的反射光而生成白色照明光观察图像；在所述窄带光观察模式中，依次照射由分别包含于蓝色光和绿色光的波段的两个窄带光构成的照明光，根据它们的反射光图像而生成窄带光观察图像。(例如参照专利文献1)。关于分别包含于蓝色光和绿色光的波段的两个窄带光，血管的血红蛋白的吸收特性和基于波长的针对活体的深度方向衰减量不同。在特殊光观察图像中，通过蓝色光的波段中包含的窄带光能够捕捉到表层的毛细血管和表层的粘膜构造，通过绿色光的波段中包含的窄带光能够捕捉到深层的更粗的血管。
为了通过单板的摄像元件获取摄像图像以按照上述的观察方式生成彩色图像并进行显示，在该摄像元件的受光面上通常设置有被称作拜耳排列的滤色镜，该滤色镜是按照每个像素将分别透射红色(R)、绿色(G)、绿色(G)和蓝色(B)波段的光的滤镜作为一个滤镜单位(单元)排列而成的。这种情况下，各像素接受透过滤镜的波段的光而生成与该波段的光对应的颜色成分的电信号。因此，在生成彩色图像的处理中进行插值处理，对在各像素中未透过滤镜而缺失的颜色成分的信号值进行插值。这样的插值处理被称作去马赛克处理。下面，将由G像素(是指配置有G滤镜的像素。R像素、B像素也同样定义)获取的信号称作G信号(R像素的情况下称作R信号，B像素的情况下称作B信号)。
作为去马赛克处理的一例，示出了如下技术：对缺失G信号的R像素和B像素利用其周边G像素的相关性来对R像素和B像素中的G信号进行插值，针对使用R像素的R信号或B像素位置的B信号而计算出的色差信号(R-G信号和B-G信号)，在对缺失色差信号的像素位置的插值处理中，使用在G信号的插值时使用的周边G像素的相关性对色差信号进行插值(例如参照专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开2006-68113号公报
专利文献2：日本特开2005-333418号公报
发明内容
发明要解决的课题
在根据通过拜耳排列而获得的电信号进行去马赛克处理时，在白色照明光观察方式中，通过使用G像素的信号值进行插值处理能够确保较高的分辨率，但是，在窄带光观察方式中，由于G像素与B像素的颜色相关性较低，因此即使进行与上述同样的插值处理，有时也无法获得较高分辨率的图像。
本发明就是鉴于上述情况而完成的，其目的在于提供无论在白色照明光观察方式和窄带光观察方式中的哪种观察方式中都能够获得较高分辨率的图像的图像处理装置、图像处理方法、图像处理程序、以及内窥镜装置。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的图像处理装置其根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，所述图像处理装置具有：插值色差计算部，其根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；色差插值部，其根据所述插值色差计算部生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及图像信号生成部，其根据所述色差插值部生成的插值后的色差信号和所述插值色差计算部生成的所述亮度成分的电信号，生成所述第二像素所生成的颜色成分的电信号。
为了解决上述课题并实现目的，本发明的图像处理方法根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，所述图像处理方法具有如下步骤：插值色差计算步骤，根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；色差插值步骤，根据在所述插值色差计算步骤中生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及图像信号生成步骤，根据在所述色差插值步骤中生成的插值后的色差信号和在所述插值色差计算步骤中生成的所述亮度成分的电信号，而生成所述第二像素所生成的颜色成分的电信号。
为了解决上述课题并实现目的，本发明的图像处理程序根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，该图像处理程序使计算机执行如下步骤：插值色差计算步骤，根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；色差插值步骤，根据在所述插值色差计算步骤中生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及图像信号生成步骤，根据在所述色差插值步骤中生成的插值后的色差信号和在所述插值色差计算步骤中生成的所述亮度成分的电信号，而生成所述第二像素所生成的颜色成分的电信号。
为了解决上述课题并实现目的，本发明的内窥镜装置具有：光源部，其射出包含红色、绿色以及蓝色的波段的光在内的白色照明光或由波段比所述白色照明光的波段更窄的光构成的窄带照明光；摄像元件，其呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成电信号，所述第一像素生成所述白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是所述窄带照明光的亮度成分；以及上述发明的图像处理装置。
发明效果
根据本发明实现了以下效果：无论在白色照明光观察方式和窄带光观察方式中的哪种观察方式中都能够获得较高的分辨率的图像。
附图说明
图1是示出本发明的实施方式一的内窥镜装置的概略结构的图。
图2是示出本发明的实施方式一的内窥镜装置的概略结构的示意图。
图3是示出本发明的实施方式一的摄像元件的像素的结构的示意图。
图4是示出本发明的实施方式一的滤色镜的结构的一例的示意图。
图5是示出本发明的实施方式一的内窥镜装置的照明部射出的照明光的波长与光量的关系的曲线图。
图6是示出基于本发明的实施方式一的内窥镜装置的照明部所具有的切换滤镜的照明光的波长与透射率的关系的曲线图。
图7是对本发明的实施方式一的处理器部的预处理部的结构进行说明的框图。
图8是对本发明的实施方式一的处理器部的插值处理部的结构进行说明的框图。
图9是对本发明的实施方式一的处理器部进行的去马赛克处理进行说明的示意图。
图10是对本发明的实施方式一的处理器部进行的去马赛克处理进行说明的示意图。
图11是对本发明的实施方式一的处理器部进行的信号处理进行说明的流程图。
图12是示出本发明的实施方式一的变形例的内窥镜装置的概略结构的示意图。
图13是示出本发明的实施方式一的变形例的光源部的旋转滤镜的结构的示意图。
图14是示出基于本发明的实施方式一的变形例的内窥镜装置的照明部所具有的滤镜的照明光的波长与透射率的关系的曲线图。
图15是示出本发明的实施方式二的内窥镜装置的概略结构的示意图。
图16是对本发明的实施方式二的处理器部的预处理部的结构进行说明的框图。
图17是示意性地说明本发明的实施方式二的内窥镜装置的运动矢量检测处理部进行的摄像时刻不同的图像间的运动的图。
图18是对本发明的实施方式二的处理器部的插值处理部的结构进行说明的框图。
图19是对本发明的实施方式二的处理器部进行的去马赛克处理进行说明的示意图。
图20是对本发明的实施方式二的处理器部进行的去马赛克处理进行说明的示意图。
图21是对本发明的实施方式二的处理器部进行的去马赛克处理进行说明的示意图。
图22是对本发明的实施方式二的处理器部进行的去马赛克处理的另外一例进行说明的示意图。
图23是对本发明的实施方式二的处理器部进行的信号处理进行说明的流程图。
具体实施方式
下面，对用于实施本发明的方式(下面称作“实施方式”)进行说明。在实施方式中对医疗用的内窥镜装置进行说明，该医疗用的内窥镜装置包含本发明的图像处理装置，拍摄患者等被检体的体腔内的图像来进行显示。并且，该发明不受该实施方式限定。并且，在附图的说明中对相同部分标注相同的标号进行说明。
另外，在下面的实施方式中，将形成白色光的光的波段中的一部分波段作为“窄带”进行了说明，但该窄带只要是比白色光的波段窄的范围的波段即可，并且也可以包含白色光(可见光)的波段范围外的波段(例如红外、紫外等)。
(实施方式一)
图1是示出本发明的实施方式一的内窥镜装置的概略结构的图。图2是示出本实施方式一的内窥镜装置的概略结构的示意图。图1和图2所示的内窥镜装置1具有：内窥镜2，其通过将插入部21插入到被检体的体腔内对观察部位的体内图像进行拍摄而生成电信号；光源部3，其产生从内窥镜2的前端射出的照明光；处理器部4，其对内窥镜2所获取的电信号实施规定的图像处理，并且对内窥镜装置1整体的动作统一进行控制；以及显示部5，其显示由处理器部4实施了图像处理后的体内图像。关于内窥镜装置1，将插入部21插入到患者等被检体的体腔内而获取体腔内的体内图像。医生等使用者通过对所获取的体内图像进行观察来检查有无作为检测对象部位的出血部位或肿瘤部位(病变部S)。
内窥镜2具有：呈细长形状的插入部21，其具有挠性；操作部22，其与插入部21的基端侧连接，接收各种操作信号的输入；以及通用缆线23，其从操作部22向与插入部21延伸的方向不同的方向延伸，且内置有与光源部3和处理器部4连接的各种线缆。
插入部21具有：前端部24，其内置有摄像元件202，该摄像元件202的接受光的像素(光电二极管)被排列成格子(矩阵)状，该摄像元件202通过对该像素所接受的光进行光电转换而生成图像信号；弯曲自如的弯曲部25，其由多个弯曲块构成；以及长条状的挠性管部26，其与弯曲部25的基端侧连接，并具有挠性。
操作部22具有：弯曲旋钮221，其使弯曲部25向上下方向和左右方向弯曲；处置器具插入部222，其将生物体钳子、电手术刀以及检查探针等处置器具插入到被检体的体腔内；以及多个开关223，其输入用于使光源部3进行照明光的切换动作的指示信号、处置器具或与处理器部4连接的外部设备的操作指示信号、用于进行送水的送水指示信号、以及用于进行抽吸的抽吸指示信号等。从处置器具插入部222插入的处置器具经由设置于前端部24的前端的处置器具通道(未图示)从开口部(未图示)露出。
通用缆线23至少内置有光导203和汇集了一条或多条信号线的集合线缆。集合线缆是在内窥镜2和光源部3与处理器4之间发送接收信号的信号线，且该集合线缆包含用于发送接收设定数据的信号线、用于发送接收图像信号的信号线、以及用于发送接收用于驱动摄像元件202的驱动用时刻信号的信号线等。
并且，内窥镜2具有摄像光学系统201、摄像元件202、光导203、照明用透镜204、A/D转换部205以及摄像信息存储部206。
摄像光学系统201设置于前端部24，至少对来自观察部位的光进行聚光。使用一个或多个透镜构成摄像光学系统201。另外，在摄像光学系统201中也可以设置有使视场角变化的光学变焦机构和使焦点变化的对焦机构。
摄像元件202设置成与摄像光学系统201的光轴垂直，对由摄像光学系统201所成的光的像进行光电转换而生成电信号(图像信号)。摄像元件202使用CCD(Charge CoupledDevice：电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等来实现。
图3是示出本实施方式一的摄像元件的像素的结构的示意图。摄像元件202的接受来自摄像光学系统201的光的多个像素被排列成格子(矩阵)状。而且，摄像元件202通过对各个像素接受到的光进行光电转换而生成电信号(也称作图像信号等)。在该电信号中包含各像素的像素值(亮度值)和像素的位置信息等。在图3中，将配置于第i行第j列的像素记为像素Pij。
摄像元件202具有滤色镜202a，该滤色镜202a设置于摄像光学系统201与该摄像元件202之间，具有分别透射单独设定的波段的光的多个滤镜。滤色镜202a设置于摄像元件202的受光面上。
图4是示出本实施方式一的滤色镜的结构的一例的示意图。滤色镜202a是根据像素Pij的配置将滤镜单元U1排列成矩阵状配置而成的，其中，该滤镜单元U1由排列成两行两列的矩阵状的四个滤镜构成。换言之，滤色镜202a是将滤镜单元U1的滤镜排列作为基本图案而按照该基本图案重复配置而成的。在各像素的受光面上分别配置有透射规定波段的光的一个滤镜。因此，设置有滤镜的像素Pij接受该滤镜所透射的波段的光。例如，设置有透射绿色波段的光的滤镜的像素Pij接受绿色波段的光。下面，将接受绿色波段的光的像素Pij称作G像素。同样地，将接受蓝色波段的光的像素称作B像素，将接受红色波段的光的像素称作R像素。
这里的滤镜单元U1透射蓝色(B)的波段HB、绿色(G)的波段HG以及红色(R)的波段HR的光。除此之外，滤镜单元U1使用透射波段HB的光的蓝色滤镜(B滤镜)、透射波段HG的光的绿色滤镜(G滤镜)、以及透射波段HR的光的红色滤镜(R滤镜)构成，且该滤镜单元U1形成两个G滤镜对角配置并且B滤镜和R滤镜对角配置的所谓拜耳排列。在滤镜单元U1中，G滤镜的密度比B滤镜和R滤镜的密度高。换言之，在摄像元件202中，G像素的密度比B像素和R像素的密度高。蓝色、绿色以及红色的波段HB、HG以及HR例如是：波段HB为380nm～500nm、波段HG为480nm～600nm、波段HR为580nm～650nm。
返回图1和图2的说明，光导203使用玻璃纤维等构成，形成光源部3射出的光的导光路。
照明用透镜204设置于光导203的前端，对光导203所引导的光进行扩散并射出到前端部24的外部。
A/D转换部205对摄像元件202生成的电信号进行A/D转换并将该转换后的电信号输出给处理器部4。A/D转换部205将摄像元件202生成的电信号例如转换为12位的数字数据(图像信号)。
摄像信息存储部206存储包含用于使内窥镜2进行动作的各种程序、内窥镜2的动作所需的各种参数以及该内窥镜2的识别信息等在内的数据。并且，摄像信息存储部206具有存储识别信息的识别信息存储部261。识别信息中包含内窥镜2的固有信息(ID)、年代型号、规格信息、传输方式以及滤色镜202a的滤镜的排列信息等。摄像信息存储部206使用闪存等来实现。
接着，对光源部3的结构进行说明。光源部3具有照明部31和照明控制部32。
照明部31在照明控制部32的控制下，对波段相互不同的多个照明光进行切换并射出。照明部31具有光源31a、光源驱动器31b、切换滤镜31c、驱动部31d、驱动用驱动器31e以及聚光透镜31f。
光源31a在照明控制部32的控制下射出包含红色、绿色以及蓝色的波段HR、HG以及HB的光在内的白色照明光。光源31a产生的白色照明光经由切换滤镜31c、聚光透镜31f以及光导203从前端部24向外部射出。光源31a使用白色LED或氙气灯等发出白色光的光源来实现。
光源驱动器31b在照明控制部32的控制下，通过对光源31a提供电流而使光源31a射出白色照明光。
切换滤镜31c仅透射光源31a射出的白色照明光中的蓝色的窄带光和绿色的窄带光。切换滤镜31c在照明控制部32的控制下插拔自如地配置于光源31a射出的白色照明光的光路上。切换滤镜31c通过配置于白色照明光的光路上而仅透射两种窄带光。具体而言，切换滤镜31c透射窄带照明光，该窄带照明光由包含于波段HB的窄带TB(例如400nm～445nm)的光和包含于波段HG的窄带TG(例如530nm～550nm)的光构成。该窄带TB、TG是容易被血液中的血红蛋白吸收的蓝色光和绿色光的波段。另外，窄带TB只要至少包含405nm～425nm即可。将限制于该波段而射出的光称作窄带照明光，将基于该窄带照明光的图像的观察称作窄带光观察(NBI)方式。
驱动部31d使用步进马达或DC电动机等构成，该驱动部31d使切换滤镜31c相对于光源31a的光路进行插拔动作。
驱动用驱动器31e在照明控制部32的控制下向驱动部31d提供规定的电流。
聚光透镜31f对光源31a射出的白色照明光或者透过切换滤镜31c的窄带照明光进行聚光而向光源部3的外部(光导203)射出。
照明控制部32通过控制光源驱动器31b而使光源31a进行开启/关闭动作，并控制驱动用驱动器31e而使切换滤镜31c相对于光源31a的光路进行插拔动作，从而控制由照明部31射出的照明光的种类(波段)。
具体而言，照明控制部32通过使切换滤镜31c相对于光源31a的光路进行插拔动作，从而进行将从照明部31射出的照明光切换成白色照明光和窄带照明光中的任意一种的控制。换言之，照明控制部32进行切换成白色照明光观察(WLI)方式和窄带光观察(NBI)方式中的任意一种观察方式的控制，所述白色照明光观察(WLI)方式使用了包含波段HB、HG以及HR的光在内的白色照明光，所述窄带光观察(NBI)方式使用了由窄带TB、TG的光构成的窄带照明光。
这里，在白色照明光观察(WLI)方式中绿色成分(波段HG)为亮度成分(第一亮度成分)，在窄带光观察(NBI)方式中蓝色成分(窄带TB)为亮度成分(第二亮度成分)。因此，在本实施方式一的摄像元件202中，G像素相当于第一像素，B像素和R像素相当于第二像素。
图5是示出本实施方式一的内窥镜装置的照明部射出的照明光的波长与光量的关系的曲线图。图6是示出基于本实施方式一的内窥镜装置的照明部所具有的切换滤镜的照明光的波长与透射率的关系的曲线图。若通过照明控制部32的控制而使切换滤镜31c从光源31a的光路移除，则照明部31像图5所示的白色光光谱那样射出包含波段HB、HG以及HR的光在内的白色照明光。与此相对，若通过照明控制部32的控制而使切换滤镜31c插入到光源31a的光路上，则照明部31射出由窄带TB、TG的光构成的窄带照明光(参照图6)。
接下来，对处理器部4的结构进行说明。处理器部4具有图像处理部41、输入部42、存储部43以及控制部44。
图像处理部41根据来自内窥镜2(A/D转换部205)的电信号执行规定的图像处理而生成显示部5所显示的图像信息。图像处理部41具有预处理部411、插值处理部412以及显示图像生成处理部413。
预处理部411对来自A/D转换部205的电信号进行光学黑(Optical Black：OB)钳位处理、噪声降低(Noise Reduction：NR)处理以及白平衡(White Balance：WB)处理，并将该信号处理后的图像信号输出给插值处理部412。
图7是对本实施方式一的处理器部的预处理部的结构进行说明的框图。预处理部411具有OB处理部4111、NR处理部4112以及WB处理部4113。
OB处理部4111对从A/D转换部205输入的图像信号的R信号、G信号以及B信号分别进行OB钳位处理。在OB钳位处理中，根据从内窥镜2(A/D转换部205)输入的电信号来计算与光学黑区域对应的规定区域的平均值，通过从电信号减去该平均值从而将黑电平校正为零值。
NR处理部4112从控制部44获取有关当前的观察方式是WLI还是NBI的观察方式信息，根据该观察方式信息来变更噪声降低量，从而对实施了OB钳位处理的图像信号进行噪声降低处理。
WB处理部4113对实施了噪声降低处理的图像信号实施基于观察方式信息的白平衡处理，并将白平衡处理后的图像信号输出给插值处理部412。另外，WB处理部4113在通过窄带光观察(NBI)方式而获得的通道(颜色成分)的信号为两个(G信号和B信号)的情况下，成为两个通道间信号的平衡校正处理并且剩余的一个通道(在本实施方式一中是R信号)乘以零。
插值处理部412根据从预处理部411输入的图像信号，根据多个像素的颜色信息(像素值)的相关来判别插值方向，并根据在判别出的插值方向上排列的像素的颜色信息进行插值，从而生成具有至少两个颜色成分的信号的彩色图像信号。插值处理部412具有G插值色差计算部412a(插值色差计算部)、色差插值部412b以及彩色图像信号生成部412c(图像信号生成部)。
G插值色差计算部412a对从预处理部411输入的图像信号生成对缺失G信号的像素(R像素或B像素)根据其周边像素进行插值后的G信号(下面称作插值G信号)，从而所有的像素位置输出具有G信号或插值G信号的G信号图像。即，通过G插值色差计算部412a的插值处理而生成各像素具有G成分的像素值或插值值的构成一张图像的图像信号。
并且，G插值色差计算部412a根据R像素或B像素的位置而生成取各颜色成分的信号与插值G信号的色差而得的作为色差信号的R-G信号或B-G信号，并作为色差图像信号输出。G插值色差计算部412a将生成的G信号图像输出到彩色图像信号生成部412c，将色差图像信号输出给色差插值部412b。
色差插值部412b针对从G插值色差计算部412a输入的色差图像信号对在各像素位置处缺失的色差信号进行插值，将所有的像素位置具有色差信号的色差图像信号输出到彩色图像信号生成部412c。即，通过色差插值部412b的插值处理而生成各像素具有色差信号R-G或B-G的值的构成一张图像的图像信号。
彩色图像信号生成部412c通过分别对各像素位置中的G信号或插值G信号和色差信号(B-G信号或R-G信号)进行相加而生成RGB信号或GB信号，并作为彩色图像信号而输出到显示图像生成处理部413。具体而言，彩色图像信号生成部412c在观察方式是WLI方式的情况下，从色差插值部412b获取具有B-G信号的色差图像信号和具有R-G信号的色差图像信号，从而生成R成分、G成分以及B成分的信号(RGB信号)。另一方面，彩色图像信号生成部412c在观察方式是NBI方式的情况下，由于不存在R成分的光，因此从B-G插值部4124仅获取具有B-G信号的色差图像信号，从而生成G成分和B成分的信号(GB信号)。
显示图像生成处理部413对由彩色图像信号生成部412c生成的彩色图像信号实施灰度转换、放大处理、或粘膜表层的毛细血管和粘膜细微图案等的构造的构造强调处理等。显示图像生成处理部413实施了规定的处理后，将该处理后的信号输出给显示部5作为显示用的显示图像信号。
输入部42是用于进行用户对处理器部4的输入等的接口，该输入部42构成为包含用于进行电源的接通/断开的电源开关、用于切换摄影模式和其它各种模式的模式切换按钮、以及用于切换光源部3的照明光的照明光切换按钮等。
存储部43记录包含用于使内窥镜装置1进行动作的各种程序和内窥镜装置1的动作所需的各种参数等在内的数据、与观察方式对应的白平衡系数等图像处理所需的数据、以及用于执行本发明的图像处理的程序等。并且，存储部43也可以存储内窥镜2的信息，例如内窥镜2的固有信息(ID)与滤色镜202a的滤镜配置的信息的关系表等。存储部43使用闪存或DRAM(Dynamic Random Access Memory：动态随机存取存储器)等半导体存储器来实现。
控制部44使用CPU等构成，该控制部44进行包含内窥镜2和光源部3在内的各结构部的驱动控制、以及对各结构部的信息输入输出控制等。控制部44将记录于存储部43的用于摄像控制的设定数据(例如读取对象像素等)和摄像时刻的时刻信号等经由规定的信号线发送到内窥镜2。控制部44将经由摄像信息存储部206获取的滤色镜信息(识别信息)输出给图像处理部41，并将切换滤镜31c的插拔动作(配置)的信息输出给光源部3。
下面，对显示部5进行说明。显示部5经由影像线缆接收处理器部4生成的显示图像信号而显示与该显示图像信号对应的体内图像。显示部5使用液晶或有机EL(ElectroLuminescence：电致发光)构成。
接着，参照附图对插值处理部412的色差插值部412b的结构进行说明。图8是对本实施方式一的处理器部的插值处理部的结构进行说明的框图。色差插值部412b具有色差分离部4121、B-G相关判别部4122、B-G插值方向判别部4123、B-G插值部4124、R-G相关判别部4125、R-G插值方向判别部4126以及R-G插值部4127。
色差分离部4121将从G插值色差计算部412a输出的色差图像信号分离成B-G信号和R-G信号，将B-G信号输出给B-G相关判别部4122和B-G插值方向判别部4123，另一方面，将R-G信号输出给R-G相关判别部4125和R-G插值方向判别部4126。
图9是对本实施方式一的处理器部进行的去马赛克处理进行说明的示意图。像图9所示的示意图那样根据B像素位置和R像素位置分别配置被分离的B-G信号和R-G信号。
B-G相关判别部4122针对从色差分离部4121输出的B-G信号，将具有R-G信号的R像素作为关注像素，计算与该关注像素相邻的像素的B-G信号的相关性。图10是对本实施方式一的处理器部进行的去马赛克处理进行说明的示意图。具体而言，如图10所示，若将关注像素(像素Pij)的坐标设为(k，l)，将相邻的四个像素位置中的B-G信号的色差信号值设为B-G(k-1，l-1)、B-G(k+1，l-1)、B-G(k-1，l+1)、B-G(k+1，l+1)，则B-G相关判别部4122根据下式(1)来计算斜上方向的相关值Ss。下面，所谓斜上方向设为图3所示的像素的配置中从左下向右上的方向，所谓斜下方向设为图3所示的像素的配置中从左上向右下的方向。并且，在位于外缘的像素等不存在相邻的像素的情况下，例如使用位于折回位置的像素的信号值。
Ss＝|B-G(k-1，l+1)-B-G(k+1，l-1)|…(1)
并且，B-G相关判别部4122根据下式(2)来计算斜下方向的相关值Sb。
Sb＝|B-G(k-1，l-1)-B-G(k+1，l+1)|…(2)
另外，在上述式(1)和(2)中，使用位于倾斜方向上的两个像素的信号值进行计算，但并不限定于此。通过利用以关注像素为中心同一方向上更远的像素的B-G信号能够提高计算出的相关值的可信度。
B-G相关判别部4122在相关值Ss和Sb的差分绝对值|Ss-Sb|比被预先指定的阈值大的情况下，将相关值Ss和Sb中的值较小的相关值的方向判定为相关性高的方向。另一方面，B-G相关判别部4122在差分绝对值|Ss-Sb|比阈值小的情况下，判定为没有特定方向的相关性。B-G相关判别部4122将表示“斜上方向”、“斜下方向”以及“没有特定方向的相关性”中的任意一个的判定信息输出给B-G插值方向判别部4123。另外，阈值被设定为考虑了信号中包含的噪声的值。
B-G插值方向判别部4123使用来自B-G相关判别部4122的判定信息和B-G信号的色差信号值，通过下式(3)～(5)所示的任意一个式子来计算关注像素(k，l)处的B-G信号的插值色差信号值B-G(k，l)。
(判定信息为“斜上方向”的情况)
B-G插值方向判别部4123在判定信息为“斜上方向”的情况下，根据下式(3)来计算关注像素(k，l)处的B-G信号的插值色差信号值B-G(k，l)。
B-G(k，l)＝{B-G(k-1，l+1)+B-G(k+1，l-1)}/2…(3)
(判定信息为“斜下方向”的情况)
B-G插值方向判别部4123在判定信息为“斜下方向”的情况下，根据下式(4)来计算关注像素(k，l)处的B-G信号的插值色差信号值B-G(k，l)。
B-G(k，l)＝{B-G(k-1，l-1)+B-G(k+1，l+1)}/2…(4)
(判定信息为“没有特定方向的相关性”的情况)
B-G插值方向判别部4123在判定信息为“没有特定方向的相关性”的情况下，根据下式(5)来计算关注像素(k，l)中的B-G信号的插值色差信号值B-G(k，l)。
另外，上述式(5)采用周边的四个像素的B-G信号的平均值，但也可以使用能够保持更高空间频率的周边十六个像素以上的B-G信号进行插值。
B-G插值方向判别部4123通过对关注像素(k，l)的插值色差信号值B-G(k，l)的计算，将包含被插值的色差信号在内的B-G信号呈方格状配置而成的关于色差B-G的色差信号输出给B-G插值部4124。
B-G插值部4124针对来自B-G插值方向判别部4123的色差信号(B-G信号)对缺失的像素位置计算B-G信号的插值色差信号值。B-G插值部4124例如根据下式(6)来计算在图10所示的像素的配置中缺失的像素位置(k，l-1)的插值值B-G(k，l-1)。
另外，上述式(6)采用周边四个像素的B-G信号的平均值，但也可以使用能够保持更高空间频率的周边十六个像素以上的B-G信号进行插值。
B-G插值部4124通过对B-G信号缺失像素位置的插值色差信号值的计算，将所有像素位置具有B-G信号的色差图像信号输出给彩色图像信号生成部412c。即，通过B-G插值部4124的插值处理而生成各像素具有关于色差B-G的色差信号值或插值色差信号值的构成一张图像的色差信号。
R-G相关判别部4125与B-G相关判别部4122同样地针对从色差分离部4121输出的R-G信号将具有B-G信号的B像素作为关注像素，计算与该关注像素相邻的像素的R-G信号的相关性。R-G相关判别部4125在式(1)和(2)中，将B替换为R计算相关值Ss和Sb。R-G相关判别部4125根据相关值Ss、相关值Sb、差分绝对值|Ss-Sb|以及阈值来判定是“斜上方向”、“斜下方向”以及“没有特定方向的相关性”中的哪一个，并将表示该判定结果的判定信息输出给R-G插值方向判别部4126。
R-G插值方向判别部4126与B-G插值方向判别部4123同样，使用来自R-G相关判别部4125的判定信息和R-G信号的色差信号值，通过上式(3)～(5)所示的任意一个式子对关注像素(k，l)计算R-G信号的插值色差信号值R-G(k，l)。R-G插值方向判别部4126在式(3)～(5)中将B替换成R计算插值色差信号值R-G(k，l)。R-G插值方向判别部4126通过对关注像素(k，l)的插值色差信号值R-G(k，l)的计算，将包含被插值的色差信号在内的R-G信号呈方格状配置而成的关于色差R-G的色差信号输出给R-G插值部4127。
R-G插值部4127与B-G插值部4124同样，针对来自R-G插值方向判别部4126的色差信号(R-G信号)对缺失的像素位置计算R-G信号的插值色差信号值。R-G插值部4127通过对R-G信号缺失像素位置的插值色差信号值的计算，将所有像素位置具有R-G信号的色差图像信号输出给彩色图像信号生成部412c。即，通过R-G插值部4127的插值处理而生成各像素具有关于色差R-G的色差信号值或插值色差信号值的构成一张图像的色差信号。
色差插值部412b通过上述的插值处理将色差信号输出给彩色图像信号生成部412c。这里，在观察方式是WLI方式的情况下，从B-G插值部4124和R-G插值部4127分别输出具有B-G信号的色差图像信号和具有R-G信号的色差图像信号。另一方面，在观察方式是NBI方式的情况下，由于不存在R成分的光，因此从B-G插值部4124仅将具有B-G信号的色差图像信号输入给彩色图像信号生成部412c。
接着，参照附图对处理器部4进行的信号处理(图像处理方法)进行说明。图11是对本实施方式一的处理器部进行的信号处理进行说明的流程图。处理器部4当从内窥镜2(前端部24)获取电信号时将该电信号输出给预处理部411(步骤S101)。来自内窥镜2的电信号是包含由摄像元件202生成并被A/D转换部205转换为数字信号的RAW图像数据的信号。
当电信号输入给预处理部411时，预处理部411进行上述的OB钳位处理、噪声降低处理以及白平衡处理，将该信号处理后的图像信号输出给插值处理部412(步骤S102)。
当由预处理部411实施了信号处理的电信号输入给插值处理部412时，G插值色差计算部412a对缺失G信号的像素(R像素或B像素)生成插值G信号，将所有的像素位置具有G信号(像素值)或插值G信号(插值值)的G信号图像输出给彩色图像信号生成部412c(步骤S103)。
然后，G插值色差计算部412a对所输入的电信号是通过白色照明光观察方式和窄带光观察方式中的哪种观察方式生成的进行判断(步骤S104)。具体而言，G插值色差计算部412a根据来自控制部44的控制信号(例如照明光的信息或表示观察方式的信息)来判断是通过哪种观察方式生成的。
G插值色差计算部412a如果判断为所输入的电信号是通过白色照明光观察方式生成的(步骤S104；WLI)，则根据R像素和B像素的位置，生成取各颜色成分的信号与插值G信号的色差而得的作为色差信号的R-G信号和B-G信号，作为色差图像信号而输出给色差插值部412b(步骤S105)。
与此相对，G插值色差计算部412a如果判断为所输入的电信号是通过窄带光观察方式生成的(步骤S104；NBI)，则根据B像素的位置，生成取B成分的信号与插值G信号的色差而得的作为色差信号的B-G信号，作为色差图像信号而输出给色差插值部412b(步骤S106)。另外，步骤S103～S106的处理内容相当于本发明的插值色差计算步骤(插值色差计算步骤)。
色差插值部412b根据从G插值色差计算部412a获取的色差图像信号进行色差插值处理(步骤S107)。具体而言，色差插值部412b针对从G插值色差计算部412a输入的色差图像信号对在各像素位置处缺失的色差信号进行插值，将所有的像素位置具有色差信号的色差图像信号输出到彩色图像信号生成部412c。即，通过色差插值部412b的插值处理，如果是白色照明光观察方式，则生成各像素具有色差信号R-G和B-G的值的构成一张图像的图像信号，如果是窄带光观察方式，则生成各像素具有色差信号B-G的值的构成一张图像的图像信号。另外，步骤S107的处理内容相当于本发明的色差插值步骤(色差插值步骤)。
彩色图像信号生成部412c使用在G插值色差计算部412a生成的G成分的像素值和插值值、以及在色差插值部412b生成的色差图像信号的信号值，而生成构成彩色图像的彩色图像信号(步骤S108)。具体而言，彩色图像信号生成部412c通过分别相加各像素位置处的G信号或插值G信号和色差信号(B-G信号或R-G信号)而生成RGB信号或GB信号，作为彩色图像信号而输出到显示图像生成处理部413。另外，步骤S108的处理内容相当于本发明的图像信号生成步骤(图像信号生成步骤)。
显示图像生成处理部413对由彩色图像信号生成部412c生成的彩色图像信号实施灰度转换、放大处理、或者粘膜表层的毛细血管和粘膜细微图案等的构造的构造强调处理等而生成显示用的显示图像信号(步骤S109)。显示图像生成处理部413实施规定的处理后，作为显示图像信号而输出给显示部5。
根据上述的本实施方式一，在能够切换WLI方式和NBI方式的内窥镜装置中，针对B-G信号，对关注像素位置仅使用其周边的B-G信号来确定更高的相关方向，使用确定的相关性较高的方向的B-G信号进行插值，因此关于粘膜表层的毛细血管、粘膜中层的血管、以及粘膜深层的血管都在沿血管行进路径的方向进行插值，从而能够维持尤其是NBI方式中的B-G信号的分辨率。如果能够维持B-G信号的分辨率，则能够维持由彩色图像信号生成部412c对B-G信号加上G信号而计算出的B信号的分辨率。即，通过上述的插值处理能够维持负责粘膜表层的毛细血管的描绘的B信号的分辨率。根据本实施方式一，进行基于电信号的图像信号的生成处理，该电信号是按照在WLI方式中G像素的密度较高的拜耳排列而生成的，因此无论在白色照明光观察方式和窄带光观察方式中的哪种观察方式中都能够获得较高的分辨率的图像。
(实施方式一的变形例)
图12是示出本发明的实施方式一的变形例的内窥镜装置的概略结构的示意图。在上述的实施方式一中，对光源部3具有切换滤镜31c，通过该切换滤镜31的插拔来切换成白色照明光观察方式和使用了由窄带TB、TG的光构成的窄带照明光的窄带光观察方式中的任意一种观察方式的情况进行了说明，但在本变形例中，代替光源部3而具有光源部3a，通过旋转滤镜31g来切换观察方式。
本变形例的内窥镜装置1a具有上述的内窥镜2、处理器部4、显示部5、以及产生从内窥镜2的前端射出的照明光的光源部3a。光源部3a具有照明部31和照明控制部32。照明部31在照明控制部32的控制下，切换而射出波段相互不同的多个照明光。照明部31具有上述的光源31a、光源驱动器31b、驱动部31d、驱动用驱动器31e、聚光透镜31f、以及旋转滤镜31g。
图13是示出本发明的实施方式一的变形例的光源部的旋转滤镜的结构的示意图。旋转滤镜31g具有旋转轴310、以及被旋转轴310支承的呈圆板状的旋转部311。旋转部311具有三个滤镜(滤镜312～314)，这三个滤镜分别配置于将主面分割成三个而成的区域。
滤镜312透射包含红色、绿色以及蓝色的波段HR、HG以及HB的光在内的白色照明光。
滤镜313透射由包含于波段HB的窄带TB(例如400nm～445nm)的光和包含于波段HG的窄带TG(例如530nm～550nm)的光构成的窄带照明光(在本变形例中作为第一窄带照明光)。滤镜313所透射的光相当于上述的窄带光观察(NBI)方式的窄带照明光。
图14是示出基于本发明的实施方式一的变形例的内窥镜装置的照明部所具有的滤镜的照明光的波长与透射率的关系的曲线图。滤镜314透射由包含于波段HR的窄带TR的光和包含于波段HG的窄带TG的光构成的窄带照明光(在本变形例中作为第二窄带照明光)。另外，滤镜314所透射的窄带TG的光可以与上述的窄带光观察(NBI)方式的窄带TG的光相同，也可以是不同的波段。在第二窄带照明光中，选择红色成分(窄带TR)和绿色成分(窄带TG)中的例如变化较大的颜色成分作为亮度成分。
照明控制部32通过控制光源驱动器31b而使光源31a进行开启/关闭动作，并控制驱动用驱动器31e而使旋转滤镜31g(旋转轴310)旋转以将滤镜312～314中的任意一个滤镜配置于光源31a的光路上，从而控制由照明部31射出的照明光的种类(波段)。
在本变形例中，图像处理部41实施上述的信号处理而生成显示图像信号。另外，在基于第二窄带照明光的观察的情况下，由于不存在B成分的光，因此从R-G插值部4127仅将具有R-G信号的色差图像信号输入给彩色图像信号生成部412c，从而由彩色图像信号生成部412c生成R成分和G成分的信号(RG信号)。
(实施方式二)
接下来，对本发明的实施方式二进行说明。图15是示出本实施方式二的内窥镜装置的概略结构的示意图。另外，对与上述相同的构成要素标注相同的标号。在上述的实施方式一中，对使用一帧进行插值处理的情况进行了说明，在本实施方式二中，使用包含过去帧在内的多个帧进行插值处理。
本实施方式二的内窥镜装置1b具有上述的内窥镜2、光源部3、显示部5、以及对内窥镜2获取的电信号实施规定的图像处理并且对内窥镜装置1b整体的动作统一进行控制的处理器部4a。处理器部4a具有图像处理部41、输入部42、存储部43以及控制部44。
图像处理部41根据来自内窥镜2(A/D转换部205)的电信号执行规定的图像处理，生成显示部5所显示的图像信息。图像处理部41具有上述的显示图像生成处理部413、预处理部411a以及插值处理部412d。
预处理部411a与上述的预处理部411同样地对来自A/D转换部205的电信号进行OB钳位处理、噪声降低处理以及白平衡处理，并将该信号处理后的图像信号输出给插值处理部412d。
图16是对本实施方式二的处理器部的预处理部的结构进行说明的框图。预处理部411a具有上述的OB处理部4111、NR处理部4112和WB处理部4113、帧存储器4114、以及运动补偿部4115。
帧存储器4114存储由NR处理部4112实施了噪声降低处理的一帧的图像信号并输出给运动补偿部4115。
运动补偿部4115使用基于过去帧的图像信号的第一运动检测用图像和基于当前帧的图像信号的第二运动检测用图像，通过公知的块匹配法来检测第一和第二运动检测用图像之间的图像的运动作为运动矢量。
图17是示意性地说明本实施方式二的内窥镜装置的运动矢量检测处理部进行的摄像时刻不同的图像间的运动的图。运动补偿部4115对基于从帧存储器4114输出的时间t不同的过去帧(当前帧的前一个帧)的图像信号的第一运动检测用图像F1和基于从OB处理部4111输出的当前帧的图像信号的第二运动检测用图像F2，通过分别对图4所示的滤镜单元U1的R信号、G信号(两个G信号)和B信号进行相加和求平均来生成近似的亮度信号。运动检测的方法例如通过普通的块匹配处理进行检测。具体而言，对第二运动检测用图像F2的像素M1移动到第一运动检测用图像F1的哪个位置进行检测。运动补偿部4115将以像素M1为中心的块B1(小区域)作为模板，以第一运动检测用图像F1中位置与第二运动检测用图像F2的像素M1的位置相同的像素f1为中心，按照块B1的模板对第一运动检测用图像F1进行扫描，将模板间的差分绝对值和最小的位置的中心像素设为像素M1’。运动补偿部4115将第一运动检测用图像F1中从像素M1(像素f1)向像素M1’的运动量Y1检测为运动矢量，并对作为图像处理对象的所有像素进行该处理。下面，将像素M1的坐标设为(x，y)，将坐标(x，y)处的运动矢量的x分量记为Vx(x，y)，将y分量记为Vy(x，y)。另外，对x方向相当于图3所示的像素的左右(水平)方向，y方向相当于上下(垂直)方向的情况进行说明。并且，若将第一运动检测用图像F1中的像素M1’的坐标设为(x’，y’)，则通过下式(7)、(8)分别定义x’和y’。运动补偿部4115将检测出的运动矢量(包含像素M1、M1’的位置的)信息输出给插值处理部412d。
x′＝x+Vx(x，y)…(7)
y′＝y+Vy(x，y)…(8)
并且，运动补偿部4115根据检测出的每个像素的运动矢量进行从帧存储器4114输出的一帧前的图像信号与当前帧的图像信号的位置对准(第一运动检测用图像F1与第二运动检测用图像F2的位置对准)，生成已运动补偿的图像信号。生成的已运动补偿的图像信号被输出到NR处理部4112。
NR处理部4112在从OB处理部4111输出的当前帧的图像信号和从运动补偿部4115输出的已运动补偿的图像信号之间对每个像素以规定权重进行加权平均，由此来降低当前帧的图像信号的噪声，并将噪声降低后的图像信号输出给WB处理部4113和帧存储器4114。这里，根据来自控制部44的观察方式信息来确定加权相加的规定权重量。
插值处理部412d根据从预处理部411a输入的图像信号和运动矢量信息，根据多个像素的颜色信息(像素值)的相关来判别插值方向，并根据在判别出的插值方向上排列的像素的颜色信息进行插值，从而生成具有至少两个颜色成分的信号的彩色图像信号。插值处理部412d具有上述的G插值色差计算部412a、彩色图像信号生成部412c、色差插值部412e、以及过去色差存储部412f。
色差插值部412e针对从G插值色差计算部412a输入的色差图像信号，参照运动矢量信息对在各像素位置处缺失的色差信号进行插值，将所有的像素位置具有色差信号的色差图像信号输出到彩色图像信号生成部412c。即，通过色差插值部412e的插值处理而生成各像素具有色差信号R-G或B-G的值的构成一张图像的图像信号。
过去色差存储部412f使用作为环形缓冲器的多个帧存储器构成，将从G插值色差计算部412a输出的色差图像信号保存在帧存储器中。这里记录的帧存储器是至少一帧期间前的色差图像信号。当然也可以存储多个帧期间的色差信号图像。
接着，参照附图对插值处理部412d的色差插值部412e的结构进行说明。图18是对本实施方式二的处理器部的插值处理部的结构进行说明的框图。色差插值部412e具有上述的色差分离部4121、B-G相关判别部4122、B-G插值方向判别部4123、B-G插值部4124、R-G相关判别部4125、R-G插值方向判别部4126、R-G插值部4127、过去色差分离部4128、以及色差运动补偿部4129。
过去色差分离部4128参照过去色差存储部412f而获取一帧前的色差图像信号。在本实施方式二中，过去色差分离部4128仅提取B-G信号并输出到色差运动补偿部4129。
色差运动补偿部4129根据从预处理部411a输出的运动矢量信息、从过去色差分离部4128输出的作为过去帧的色差信号的B-G信号以及从色差分离部4121输出的当前帧的B-G信号，进行B-G信号的修正。色差运动补偿部4129将包含修正后的B-G信号在内的色差图像信号输出给B-G相关判别部4122和B-G插值方向判别部4123。另外，这里的运动矢量的精度为1像素精度。
具体而言，关于B-G信号的修正如图19～图21所示那样，色差运动补偿部4129对当前帧的缺失色差信号的像素位置进行根据运动矢量信息填充过去帧的色差信号的处理。图19～图21是对本实施方式二的处理器部进行的去马赛克处理进行说明的示意图。这里，在图19～图21中，将过去帧的色差信号设为(B-G)p。
(运动矢量的Vx(x，y)为奇数，Vy(x，y)为包含0在内的偶数的情况)
在该情况下，如图19所示，在B-G(k-1，l-1)和B-G(k-1，l+1)之间和B-G(k+1，l-1)和B-G(k+1，l+1)之间的像素位置，分别插入以对应的运动矢量进行补偿后的过去帧的色差信号(B-G)p(k-1，l)、(B-G)p(k+1，l)。
(运动矢量的Vx(x，y)为包含0在内的偶数，Vy(x，y)为奇数的情况)
在该情况下，如图20所示，在B-G(k-1，l-1)和B-G(k+1，l-1)之间和B-G(k-1，l+1)和B-G(k+1，l+1)之间的像素位置，分别插入以对应的运动矢量进行补偿后的过去帧的色差信号(B-G)p(k，l-1)、(B-G)p(k，l+1)。
(运动矢量的Vx(x，y)为奇数、Vy(x，y)为奇数的情况)
在该情况下，如图21所示，以对应的运动矢量进行补偿后的过去帧的色差信号(B-G)p(k，l)插入于关注像素(k，l)。
(运动矢量的Vx(x，y)和Vy(x，y)为上述以外的情况)
在运动矢量的垂直水平分量为上述以外的情况下，过去帧的色差信号的配置与图10所示的色差信号的配置等同，过去帧的色差信号(B-G)p未插入于包含关注像素(k，l)在内的周边像素。
另外，如果也对两帧前的信号利用一帧前的运动矢量和当前帧的运动矢量、事先存储在过去色差存储部412f中的两帧前的色差信号，则能够插入更多的在关注像素(k，l)及其周边像素的位置缺失的色差信号。插入了色差信号后的图案是组合了图19～图21所示的图案中的至少任意两个插入图案而成的。
图22是对本实施方式二的处理器部进行的去马赛克处理的另外一例进行说明的示意图。当然，如果能够利用N帧前(N为2以上的整数)的色差信号和到N帧前为止的运动矢量，则能够像图22所示那样在关注像素(k，l)和周边像素的位置填充所有缺失的色差信号。在利用到N帧前为止来进行运动补偿的情况下，插入到相同位置的色差信号优选时间序列上接近当前帧的色差信号(B-G)p。
如上所述，色差运动补偿部4129将包含插入了过去帧的色差信号(B-G)p后的已运动补偿的B-G信号在内的色差图像信号输出给B-G相关判别部4122和B-G插值方向判别部4123，并且将表示色差信号(B-G)p插入到哪个像素位置的插入位置判定信息(对图19～图21所示的图案等进行判别的索引)输出给B-G相关判别部4122。
当从色差运动补偿部4129获取色差图像信号和插入位置判定信息时，B-G相关判别部4122像上述那样进行相关性最高的方向的判定处理。
(运动矢量的Vx(x，y)为奇数，Vy(x，y)为包含0在内的偶数的情况)
例如除了在实施方式一中说明的相关值Ss和Sb之外，B-G相关判别部4122根据下式(9)还计算水平方向的相关值Sh。所谓水平方向设为图3所示的像素的配置中的左右方向。
Sh＝|(B-G)p(k-1，l)-(B-G)p(k+1，l)|…(9)
B-G相关判别部4122选择相关值Ss、Sb以及Sh中的最小的相关值和第二小的相关值。B-G相关判别部4122在所选择的两个相关值的差分绝对值比阈值大的情况下，将与最小的相关值对应的方向判定为相关性最高的方向，在差分绝对值比阈值小的情况下，判定为没有特定方向的相关性。B-G相关判别部4122将表示“斜上方向”、“斜下方向”、“水平方向”、以及“没有特定方向的相关性”中的任意一个判定结果的判定信息输出给B-G插值方向判别部4123。
(运动矢量的Vx(x，y)为包含0在内的偶数，Vy(x，y)为奇数的情况)
例如除了在实施方式一中说明的相关值Ss和Sb之外，B-G相关判别部4122根据下式(10)还计算垂直方向的相关值Sv。所谓垂直方向设为图3所示的像素的配置中的上下方向。
Sv＝|(B-G)p(k，l-1)-(B-G)p(k，l+1)|…(10)
B-G相关判别部4122选择相关值Ss、Sb以及Sv中的最小的相关值和第二小的相关值。B-G相关判别部4122在所选择的两个相关值的差分绝对值比预先指定的阈值大的情况下，将与最小的相关值对应的方向判定为相关性最高的方向，在差分绝对值比阈值小的情况下，判定为没有特定方向的相关性。B-G相关判别部4122将表示“斜上方向”、“斜下方向”、“垂直方向”、以及“没有特定方向的相关性”中的任意一个判定结果的判定信息输出给B-G插值方向判别部4123。
(运动矢量的Vx(x，y)为奇数，Vy(x，y)为奇数的情况)
B-G相关判别部4122例如使用当前帧的色差信号和过去帧的色差信号来计算斜上方向和斜下方向的相关值。具体而言，B-G相关判别部4122根据下式(11)来计算斜上方向的相关值Ssp。
并且，B-G相关判别部4122根据下式(12)来计算斜下方向的相关值Sbp。
B-G相关判别部4122在相关值Ssp和Sbp的差分绝对值|Ssp-Sbp|比阈值大的情况下，将与值较小的相关值对应的方向判定为相关性最高的方向，在差分绝对值|Ssp-Sbp|比阈值小的情况下，判定为没有特定方向的相关性。B-G相关判别部4122将表示“斜上方向”、“斜下方向”、以及“没有特定方向的相关性”中的任意一个判定结果的判定信息输出给B-G插值方向判别部4123。
同样地，在图22所示那样的利用过去的色差信号而在所有的像素位置填充了色差信号的情况下，B-G相关判别部4122分别计算四个方向(“斜上方向”、“斜下方向”、“水平方向”以及“垂直方向”)的相关值。B-G相关判别部4122在该差分绝对值比阈值大的情况下，将最小的相关值的方向判定为相关性最高的方向。并且，B-G相关判别部4122在差分绝对值比阈值小的情况下，判定为没有特定方向的相关性。在该情况下，将表示“斜上方向”、“斜下方向”、“水平方向”、“垂直方向”、以及“没有特定方向的相关性”中的任意一个判定结果的判定信息输出给B-G插值方向判别部4123。
B-G插值方向判别部4123使用来自B-G相关判别部4122的判定信息和包含过去帧的色差信号在内的B-G信号的色差信号值，通过下式(13)～(17)所示的任意一个式子对关注像素(k，l)计算B-G信号的插值色差信号值B-G(k，l)。
(判定信息为“斜上方向”的情况)
B-G插值方向判别部4123在判定信息为“斜上方向”的情况下，根据下式(13)来计算关注像素(k，l)中的B-G信号的插值色差信号值B-G(k，l)。
B-G(k，l)＝{B-G(k-1，l+1)+B-G(k+1，l-1)}/2…(13)
(判定信息为“斜下方向”的情况)
B-G插值方向判别部4123在判定信息为“斜下方向”的情况下，根据下式(14)来计算关注像素(k，l)中的B-G信号的插值色差信号值B-G(k，l)。
B-G(k，l)＝{B-G(k-1，l-1)+B-G(k+1，l+1)}/2…(14)
(判定信息为“垂直方向”的情况)
B-G插值方向判别部4123在判定信息为“垂直方向”的情况下，根据下式(15)来计算关注像素(k，l)中的B-G信号的插值色差信号值B-G(k，l)。
B-G(k，l)＝{(B-G)p(k，l-1)+(B-G)p(k，l+1)}/2…(15)
(判定信息为“水平方向”的情况)
B-G插值方向判别部4123在判定信息为“水平方向”的情况下，根据下式(16)来计算关注像素(k，l)中的B-G信号的插值色差信号值B-G(k，l)。
B-G(k，l)＝{(B-G)p(k-1，l)+(B-G)p(k+1，l)}/2…(16)
(判定信息为“没有特定方向的相关性”的情况)
B-G插值方向判别部4123在判定信息为“没有特定方向的相关性”的情况下，根据下式(17)来计算关注像素(k，l)中的B-G信号的插值色差信号值B-G(k，l)。
另外，上述式(17)采用周边的四个像素的B-G信号的平均值，但也可以使用能够保持更高空间频率的周边十六个像素以上的B-G信号进行插值。
B-G插值方向判别部4123通过对关注像素(k，l)的插值色差信号值B-G(k，l)的计算，将包含被插值的色差信号在内的B-G信号呈方格状配置而成的关于色差B-G的色差信号输出给B-G插值部4124。以后，与上述的实施方式一同样地使图像处理部41生成显示图像信号。
并且，对R-G信号也可以与上述的B-G信号同样地利用过去帧的信息进行方向判别插值处理。
在上述的插值处理中，由于在插值处理部412d的前级(预处理部411a)进行每个像素的运动检测，因此能够将其结果用于插值处理部412d的色差信号的方向判别插值的判定。当然也可以在插值处理部412d中进行各像素的运动检测处理。
接着，参照附图对处理器部4a进行的信号处理进行说明。图23是对本实施方式二的处理器部进行的信号处理进行说明的流程图。处理器部4a当从内窥镜2(前端部24)获取电信号时，进行与上述的实施方式一中的步骤S101～S106的处理相同的处理，生成G成分的像素值和插值值以及色差图像信号的信号值(步骤S201～S206)。另外，在步骤S202中的预处理中，由运动补偿部4115进行每个像素的运动矢量的检测处理。
色差插值部412e根据从G插值色差计算部412a获取的色差图像信号来进行色差运动补偿处理(步骤S207)。具体而言，过去色差分离部4128参照过去色差存储部412f而获取一帧前的色差图像信号，仅提取B-G信号并输出到色差运动补偿部4129。色差运动补偿部4129根据从预处理部411a输出的运动矢量信息、从过去色差分离部4128输出的作为过去帧的色差信号的B-G信号、以及从色差分离部4121输出的当前帧的B-G信号，来进行B-G信号的修正(色差运动补偿处理)。色差运动补偿部4129将包含修正后的B-G信号在内的色差图像信号输出给B-G相关判别部4122和B-G插值方向判别部4123。
色差插值部412e当由色差运动补偿部4129修正了B-G信号时，根据从G插值色差计算部412a获取的色差图像信号和被色差运动补偿部4129修正后的B-G信号来进行色差插值处理(步骤S208)。
彩色图像信号生成部412c使用在G插值色差计算部412a生成的G成分的像素值和插值值以及在色差插值部412e生成的色差图像信号的信号值，而生成构成彩色图像的彩色图像信号(步骤S209)。具体而言，彩色图像信号生成部412c通过分别将各像素位置中的G信号或插值G信号和色差信号(B-G信号或R-G信号)相加，而生成RGB信号或GB信号，作为彩色图像信号而输出到显示图像生成处理部413。
显示图像生成处理部413通过对由彩色图像信号生成部412c生成的彩色图像信号实施灰度转换、放大处理、或者粘膜表层的毛细血管和粘膜细微图案等的构造的构造强调处理等，而生成显示用的显示图像信号(步骤S210)。显示图像生成处理部413实施了规定的处理后，作为显示图像信号输出给显示部5。
根据上述的本实施方式二，在能够获得与实施方式一相同的效果并且能够切换WLI方式和NBI方式的内窥镜装置中，对关注像素位置的B-G信号使用当前帧和时间上为过去的帧所对应的B-G信号来确定更高的相关方向，从而使用确定的相关性较高的方向的B-G信号进行插值，因此关于粘膜表层的毛细血管、粘膜中层的血管、以及粘膜深层的血管都在沿血管行进路径的方向进行插值，从而能够更可靠地维持尤其是NBI方式中的B-G信号的分辨率。
并且，在上述的实施方式一、二中，对具有多个滤镜的滤色镜202a设置于摄像元件202的受光面上，该多个滤镜分别透射规定波段的光的情况进行了说明，但各滤镜也可以单独地设置于摄像元件202的各像素。
另外，关于上述的实施方式一、二的内窥镜装置1、1b，针对从一个光源31a射出的白色光，说明了通过滤镜31c的插拔或旋转滤镜31g的旋转而将从照明部31射出的照明光切换成白色照明光和窄带照明光的情况，但也可以切换分别射出白色照明光和窄带照明光的两个光源来射出白色照明光和窄带照明光中的任意一种。在切换两个光源来射出白色照明光和窄带照明光中的任意一种的情况下，例如也能够适用于具有光源部、滤色镜以及摄像元件并且被导入到被检体内的胶囊型的内窥镜。
并且，关于上述的实施方式一、二及变形例的内窥镜装置1～1b，对A/D转换部205设置于前端部24的情况进行了说明，但也可以设置于处理器部4、4a。并且，也可以将图像处理的结构设置于内窥镜2、连接内窥镜2与处理器部4的连接器、以及操作部22等。并且，在上述的内窥镜装置1～1b中，对使用存储于摄像信息存储部206的识别信息等来识别与处理器部4、4a连接的内窥镜2的情况进行了说明，但也可以将识别构件设置于处理器部4、4a与内窥镜2的连接部分(连接器)。例如，将识别用的销(识别构件)设置于内窥镜2侧，来识别与处理器部4连接的内窥镜2。
并且，在上述的实施方式一、二中，说明了G插值色差计算部412a生成根据其周边像素对缺失G信号的像素(R像素或B像素)进行插值后的G信号的情况，但也可以是对插值方向进行判别来进行插值处理的线性插值，也可以通过三次插值或其它非线形插值来进行插值处理。
并且，上述的实施方式一、二中，对滤色镜202a为拜耳排列的滤镜单元U1排列成矩阵状而成的情况进行了说明，但并不限于拜耳排列。例如，在切换WLI方式和上述的NBI方式的情况下，只要是G成分的密度比B成分的高的滤镜排列的滤镜单元即可。只要是生成白色照明光亮度成分电信号的像素的密度比生成窄带照明光亮度成分电信号的像素的密度高的滤镜排列就能够应用。
另外，在上述的实施方式一、二中，以包含图像处理装置的内窥镜装置为例进行了说明，但例如也可以应用于显微镜装置等、进行图像处理的摄像装置。
工业上的可利用性
如上所述，本发明的图像处理装置、图像处理方法、图像处理程序以及内窥镜装置无论在白色照明光观察方式和窄带光观察方式中的哪种观察方式中都在获得较高的分辨率图像方面有用。
标号说明
1：内窥镜装置；2：内窥镜；3：光源部；4：处理器部；5：显示部；21：插入部；22：操作部；23：通用缆线；24：前端部；31：照明部；31a：光源；31b：光源驱动器；31c：切换滤镜；31d：驱动部；31e：驱动用驱动器；31f：聚光透镜；31g：旋转滤镜；32：照明控制部；41：图像处理部；42：输入部；43：存储部；44：控制部；201：摄像光学系统；202：摄像元件；202a：滤色镜；203：光导；204：照明用透镜；205：A/D转换部；206：摄像信息存储部；261：识别信息存储部；411：预处理部；412、412d：插值处理部；412a：G插值色差计算部；412b、412e：色差插值部；412c：彩色图像信号生成部；413：显示图像生成处理部；412f：过去色差存储部；4111：OB处理部；4112：NR处理部；4113：WB处理部；4114：帧存储器；4115：运动补偿部；4121：色差分离部；4122：B-G相关判别部；4123：B-G插值方向判别部；4124：B-G插值部；4125：R-G相关判别部；4126：R-G插值方向判别部；4127：R-G插值部；4128：过去色差分离部；4129：色差运动补偿部；U1：滤镜单元。

Claims (7)

1.一种图像处理装置，其根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，所述图像处理装置具有：
插值色差计算部，其根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；
色差插值部，其根据所述插值色差计算部生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及
图像信号生成部，其根据所述色差插值部生成的插值后的色差信号和所述插值色差计算部生成的所述亮度成分的电信号，生成所述第二像素所生成的颜色成分的电信号。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述第一像素是接受所述绿色的成分的波段的光而生成该绿色的成分的电信号的像素，
所述第二像素包含接受所述蓝色的成分的波段的光而生成该蓝色的成分的电信号的像素和接受所述红色的成分的波段的光而生成该红色的颜色成分的电信号的像素。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述色差插值部对多个插值方向候选计算相关值，根据该相关值将所述多个插值方向候选中的任意一个判别为所述插值方向。
4.根据权利要求1所述的图像处理装置，其特征在于，
该图像处理装置具有运动补偿部，该运动补偿部使用作为用于检测图像间的运动的运动检测用图像的第一运动检测用图像和第二运动检测用图像，来检测第一运动检测用图像和第二运动检测用图像之间的所述运动作为运动矢量，所述第一运动检测用图像基于相比插值对象帧在时间序列上为过去的帧的图像信号，所述第二运动检测用图像基于该插值对象帧的图像信号，
所述色差插值部根据所述运动矢量将所述过去的帧的色差信号嵌入到所述插值对象帧的图像信号中，使用包含该嵌入的过去帧的色差信号在内的色差信号对在各像素位置处缺失的色差信号进行插值。
5.一种图像处理方法，根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，所述图像处理方法具有如下步骤：
插值色差计算步骤，根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；
色差插值步骤，根据在所述插值色差计算步骤中生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及
图像信号生成步骤，根据在所述色差插值步骤中生成的插值后的色差信号和在所述插值色差计算步骤中生成的所述亮度成分的电信号，生成所述第二像素所生成的颜色成分的电信号。
6.一种计算机能够读取的记录介质，其存储有图像处理程序，该图像处理程序根据从摄像元件输出的电信号而生成图像信号，所述摄像元件呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成所述电信号，所述第一像素生成包含红色、绿色以及蓝色的波段的光在内的白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光构成的窄带照明光的亮度成分，其特征在于，该图像处理程序使计算机执行如下步骤：
插值色差计算步骤，根据所述第二像素的位置处的该第二像素周边的所述第一像素的电信号对所述第一亮度成分的电信号进行插值，生成取通过该插值而生成的亮度成分的电信号与所述第二像素生成的颜色成分的电信号之差而得的色差信号；
色差插值步骤，根据在所述插值色差计算步骤中生成的色差信号对插值方向进行判别，对在各像素位置处缺失的色差信号进行插值；以及
图像信号生成步骤，根据在所述色差插值步骤中生成的插值后的色差信号和在所述插值色差计算步骤中生成的所述亮度成分的电信号，生成所述第二像素所生成的颜色成分的电信号。
7.一种内窥镜装置，其特征在于，该内窥镜装置具有：
光源部，其射出包含红色、绿色以及蓝色的波段的光在内的白色照明光或由波段比所述白色照明光的波段更窄的光构成的窄带照明光；
摄像元件，其呈矩阵状配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各个颜色成分的密度高，所述摄像元件对第一像素和第二像素分别接受到的光进行光电转换而生成电信号，所述第一像素生成所述白色照明光的亮度成分即第一亮度成分的电信号，所述第二像素生成包含第二亮度成分在内的颜色成分的电信号，所述第二亮度成分是所述窄带照明光的亮度成分；以及
权利要求1所述的图像处理装置。
CN201480083410.5A 2014-11-19 2014-11-19 图像处理装置、图像处理方法、记录介质以及内窥镜装置 Active CN106999019B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/080684 WO2016079831A1 (ja) 2014-11-19 2014-11-19 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置

Publications (2)

Publication Number Publication Date
CN106999019A CN106999019A (zh) 2017-08-01
CN106999019B true CN106999019B (zh) 2018-10-19

Family

ID=56013443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083410.5A Active CN106999019B (zh) 2014-11-19 2014-11-19 图像处理装置、图像处理方法、记录介质以及内窥镜装置

Country Status (5)

Country Link
US (1) US10867367B2 (zh)
JP (1) JP6471173B2 (zh)
CN (1) CN106999019B (zh)
DE (1) DE112014007051T5 (zh)
WO (1) WO2016079831A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117036A1 (ja) * 2015-01-20 2016-07-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JP6561571B2 (ja) * 2015-05-12 2019-08-21 ソニー株式会社 医療用撮像装置、撮像方法及び撮像装置
US20170061586A1 (en) * 2015-08-28 2017-03-02 Nokia Technologies Oy Method, apparatus and computer program product for motion deblurring of image frames
JP6408457B2 (ja) * 2015-12-22 2018-10-17 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
US10129511B2 (en) * 2016-08-01 2018-11-13 Ricoh Company, Ltd. Image processing apparatus, image projection apparatus, and image processing method
WO2018203435A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 内視鏡システム
EP3417763A1 (en) * 2017-06-22 2018-12-26 Helmholtz Zentrum München - Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) System for endoscopic imaging
WO2019198576A1 (ja) * 2018-04-11 2019-10-17 富士フイルム株式会社 医療画像処理装置
EP3795058B1 (en) * 2018-05-14 2022-06-15 FUJIFILM Corporation Image processing device, endoscope system, and image processing method
WO2020050187A1 (ja) * 2018-09-06 2020-03-12 ソニー株式会社 医療システム、情報処理装置及び情報処理方法
JP7053873B2 (ja) * 2018-10-22 2022-04-12 オリンパス株式会社 画像処理装置および内視鏡システム
JP7116001B2 (ja) * 2019-03-27 2022-08-09 日立Astemo株式会社 撮像装置及び画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2931520B2 (ja) 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
JP4441809B2 (ja) * 2004-05-20 2010-03-31 忠 杉木 カラー固体撮像装置
JP4025764B2 (ja) 2004-08-31 2007-12-26 オリンパス株式会社 内視鏡装置
EP1787577B1 (en) 2004-08-30 2011-03-09 Olympus Corporation Endoscope
JP5036421B2 (ja) * 2007-06-25 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置、画像処理方法、プログラムおよび撮像装置
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
US7995840B2 (en) * 2008-03-28 2011-08-09 Seiko Epson Corporation Image processing apparatus, image processing method, and program for attaining image processing
JP5452242B2 (ja) * 2010-01-15 2014-03-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP5346856B2 (ja) * 2010-03-18 2013-11-20 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法及び撮像装置
EP2728885B1 (en) * 2011-06-30 2016-08-03 FUJIFILM Corporation Imaging device and imaging program
JP5818586B2 (ja) * 2011-08-31 2015-11-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5932748B2 (ja) * 2013-09-27 2016-06-08 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
DE112014007051T5 (de) 2017-06-22
JPWO2016079831A1 (ja) 2017-09-28
US20170243325A1 (en) 2017-08-24
WO2016079831A1 (ja) 2016-05-26
JP6471173B2 (ja) 2019-02-13
US10867367B2 (en) 2020-12-15
CN106999019A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
CN106999019B (zh) 图像处理装置、图像处理方法、记录介质以及内窥镜装置
CN107105987B (zh) 图像处理装置及其工作方法、记录介质和内窥镜装置
CN105792727B (zh) 内窥镜装置
CN104883946B (zh) 图像处理装置、电子设备、内窥镜装置和图像处理方法
CN107529969B (zh) 图像处理装置以及内窥镜系统
CN105828693B (zh) 内窥镜装置
CN109310301A (zh) 电子内窥镜用处理器以及电子内窥镜系统
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
CN107113405B (zh) 图像处理装置、图像处理装置的工作方法、记录介质和内窥镜装置
CN106102556B (zh) 图像处理装置
US11563921B2 (en) Image processing apparatus, endoscope system, and image processing method
CN102300498A (zh) 用于解剖结构的红外显示设备及其信号处理方法
CN106068092A (zh) 图像处理装置
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
WO2016084257A1 (ja) 内視鏡装置
CN108778091A (zh) 内窥镜装置、图像处理装置、图像处理方法和程序
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
CN106714651B (zh) 评价值计算装置以及电子内窥镜系统
CN107847107A (zh) 医疗用观察装置与医疗用观察方法
CN104939791B (zh) 医用图像处理装置及其工作方法
CN109152520A (zh) 图像信号处理装置、图像信号处理方法以及图像信号处理程序
CN109310299B (zh) 电子内窥镜用处理器以及电子内窥镜系统
CN109788891A (zh) 内窥镜镜体、内窥镜处理器和内窥镜用适配器
WO2015194204A1 (ja) 内視鏡装置
US20190239736A1 (en) Endoscope system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant