CN107205618B - 图像处理装置、内窥镜系统、图像处理方法以及记录介质 - Google Patents

图像处理装置、内窥镜系统、图像处理方法以及记录介质 Download PDF

Info

Publication number
CN107205618B
CN107205618B CN201580075786.6A CN201580075786A CN107205618B CN 107205618 B CN107205618 B CN 107205618B CN 201580075786 A CN201580075786 A CN 201580075786A CN 107205618 B CN107205618 B CN 107205618B
Authority
CN
China
Prior art keywords
light
filter
broadband
narrowband
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580075786.6A
Other languages
English (en)
Other versions
CN107205618A (zh
Inventor
井冈健
吉崎和德
菊地直
小宫康宏
福永康弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107205618A publication Critical patent/CN107205618A/zh
Application granted granted Critical
Publication of CN107205618B publication Critical patent/CN107205618B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供能够以高分辨率分别得到通常图像和窄带图像的图像处理装置、内窥镜系统以及摄像装置。图像处理装置(4)具有：分离部(401a)，其根据从摄像装置输入的图像信号，将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与分别透过了多个窄带滤光器的窄带光对应的多个窄带图像信号分离；去马赛克部(401b)，其根据分离部(401a)分离出的多个窄带图像信号，进行对多个宽带图像信号中的任意一个进行插值的去马赛克处理；以及图像生成部(401c)，其使用去马赛克部(401b)通过去马赛克处理进行插值得到的宽带图像信号来生成宽带图像，并且使用窄带图像信号来生成窄带图像。

Description

图像处理装置、内窥镜系统、图像处理方法以及记录介质
技术领域
本发明涉及对从具有滤色器的摄像元件输出的图像数据进行图像处理的图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序，其中，该滤色器是将透射宽带的光的多个宽带滤光器和透射窄带的光的多个窄带滤光器呈二维矩阵状配置而成的。
背景技术
近年来，在内窥镜的领域，公知有如下的技术：在摄像元件的受光面上设置滤色器，该滤色器是将透射可见区域的宽带的光的多个宽带滤光器和透射窄带的光的多个窄带滤光器呈二维矩阵状配置而成的，由此同时取得通常的宽带图像和能够同时观察粘膜表层的毛细血管和粘膜细微样式的窄带图像(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2007-20880号公报
发明内容
发明要解决的课题
然而，在上述的专利文献1中，窄带滤光器的数量和宽带滤光器的数量比通常的仅有宽带滤光器的情况少，因此存在窄带图像和宽带图像各自的分辨率低这样的问题。
本发明是鉴于上述情况而完成的，其目的在于，提供能够以高分辨率分别得到窄带图像和通常的宽带图像的图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序。
用于解决课题的手段
为了解决上述的课题、达成目的，本发明的图像处理装置的特征在于，该图像处理装置具有：分离部，其根据从摄像装置输入的图像信号，将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离，所述摄像装置具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号，该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光，所述滤色器以与所述多个像素对应的方式配置；去马赛克部，其进行如下的去马赛克处理：根据所述分离部分离出的所述窄带图像信号，对所述多个宽带图像信号中的至少一个宽带图像信号进行插值；以及图像生成部，其使用所述去马赛克部通过所述去马赛克处理进行插值得到的至少一个所述宽带图像信号来生成宽带图像，并且使用所述窄带图像信号来生成窄带图像。
并且，本发明的图像处理装置在上述发明的基础上，特征在于，所述窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述多种宽带滤光器中的任意一种的透射光谱的半值宽度之间，所述去马赛克部通过所述去马赛克处理，对所述多个宽带图像信号中的、与在所述半值宽度之间包含所述最大值的所述宽带滤光器对应的宽带图像信号进行插值。
并且，本发明的图像处理装置在上述发明的基础上，特征在于，所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器，所述窄带滤光器具有第一窄带滤光器，该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间，所述去马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号进行所述去马赛克处理，从而对与所述蓝色滤光器对应的宽带图像信号进行插值，所述第一窄带滤光器的滤光器数量为所述蓝色滤光器的滤光器数量以上。
并且，本发明的图像处理装置在上述发明的基础上，特征在于，所述窄带滤光器具有第二窄带滤光器，该第二窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述绿色滤光器的透射光谱的半值宽度之间，使用与透过了所述第二窄带滤光器的所述窄带光对应的第二窄带图像信号进行所述去马赛克处理，从而对与所述绿色滤光器对应的宽带图像信号进行插值。
并且，本发明的图像处理装置在上述发明的基础上，特征在于，所述去马赛克部在具有与所述绿色滤光器对应的宽带图像信号和与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号的情况下，在对与所述蓝色滤光器对应的宽带图像信号进行插值时使用所述第一窄带图像信号进行所述去马赛克处理。
并且，本发明的内窥镜系统的特征在于，该内窥镜系统具有：上述图像处理装置；摄像装置，其具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成图像信号，该滤色器使用窄带滤光器和多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的窄带光，所述滤色器以与所述多个像素对应的方式配置；以及插入部，其在前端设置有所述摄像装置，该插入部被插入到被检体内。
并且，本发明的摄像装置的特征在于，该摄像装置具有：摄像元件，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成图像信号；以及以与所述多个像素对应的方式配置的滤色器，其使用窄带滤光器和多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的窄带光。
并且，本发明的图像处理方法的特征在于，该图像处理方法包含以下步骤：分离步骤，根据从摄像装置输入的图像信号，将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离，所述摄像装置具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号，该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光，所述滤色器以与所述多个像素对应的方式配置；去马赛克步骤，进行如下的去马赛克处理：根据在所述分离步骤中分离出的所述窄带图像信号，对所述多个宽带图像信号中的一个宽带图像信号进行插值；以及图像生成步骤，使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像，并且使用所述窄带图像信号来生成窄带图像。
并且，本发明的程序使图像处理装置执行以下步骤：分离步骤，根据从摄像装置输入的图像信号，将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离，所述摄像装置具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号，该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光，所述滤色器以与所述多个像素对应的方式配置；去马赛克步骤，进行如下的去马赛克处理：根据在所述分离步骤中分离出的所述窄带图像信号，对所述多个宽带图像信号中的一个宽带图像信号进行插值；以及图像生成步骤，使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像，并且使用所述窄带图像信号来生成窄带图像。
发明效果
根据本发明，实现了能够以高分辨率分别得到宽带图像和窄带图像这样的效果。
附图说明
图1是示出本发明的实施方式1的内窥镜系统的概略结构的图。
图2是示出本发明的实施方式1的内窥镜系统的主要部分的功能结构的框图。
图3是示意性地示出本发明的实施方式1的滤色器的结构的图。
图4是示出构成本发明的实施方式1的滤色器的各滤光器的透射率的特性的图。
图5是示意性地对本发明的实施方式1的图像处理部执行的图像处理的概要进行说明的图。
图6是示意性地示出本发明的实施方式1的变形例的滤色器的结构的图。
图7是示意性地示出本发明的实施方式2的滤色器的结构的图。
图8是示出构成本发明的实施方式2的滤色器的各滤光器的透射率的特性的图。
图9是示意性地对本发明的实施方式2的图像处理部执行的图像处理的概要进行说明的图。
图10是示意性地示出本发明的实施方式3的滤色器的结构的图。
图11是示出构成本发明的实施方式3的滤色器的各滤光器的透射率的特性的图。
图12是示意性地对本发明的实施方式3的图像处理部执行的图像处理的概要进行说明的图。
具体实施方式
以下，对用于实施本发明的方式(以下，称为“实施方式”)进行说明。在本实施方式中，作为图像处理装置，以对患者等被检体的体腔内的图像进行拍摄并显示的医疗用的内窥镜系统为例进行说明。并且，本发明不限于以下的实施方式。而且，在图面的记载中对相同部分标注相同的标号进行说明。
(实施方式1)
(内窥镜系统的结构)
图1是示出本发明的实施方式1的内窥镜系统的概略结构的图。图2是示出本发明的实施方式1的内窥镜系统的主要部分的功能结构的框图。
图1和图2所示的内窥镜系统1具有：内窥镜2，其通过前端部插入到被检体的体腔内而对被检体的体内图像进行拍摄；光源装置3，其产生从内窥镜2的前端射出的照明光；处理装置4(处理器)，其对内窥镜2拍摄的图像信号实施规定的图像处理而生成图像，并且统一地对内窥镜系统1整体的动作进行控制；以及显示装置5，其对处理装置4实施图像处理而生成的图像进行显示。
(内窥镜的结构)
首先，对内窥镜2的结构进行说明。内窥镜2具有：具有挠性的呈细长形状的插入部21；操作部22，其与插入部21的基端侧连接，接受各种操作信号的输入；以及通用缆线23，其从操作部22向与插入部21延伸的方向不同的方向延伸，内设有与光源装置3和处理装置4连接的各种缆线。
插入部21具有：前端部24，其内设有摄像元件244(摄像装置)，在该摄像元件244中像素呈二维状排列，该像素接受光并进行光电转换从而生成信号；弯曲自如的弯曲部25，其由多个弯曲块构成；以及具有挠性的长条状的挠性管部26，其与弯曲部25的基端侧连接。
前端部24具有光导241、照明透镜242、光学系统243、滤色器245、摄像元件244、模拟前端部246(以下，称为“AFE部246”)、定时产生器部247(以下，称为“TG部247”)以及摄像控制部248。
光导241使用玻璃纤维等构成，形成光源装置3射出的光的导光路。照明透镜242设置于光导241的前端，使光导241引导的光朝向被摄体发散。
光学系统243使用一个或多个透镜和棱镜等构成，具有改变视场角的光学变焦功能和改变焦点的对焦功能。
摄像元件244接受透过了光学系统243和滤色器245的光，通过进行光电转换而生成电信号，并将该电信号作为图像信号输出。摄像元件244使用CCD(Charge CoupledDevice：电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像传感器构成，在该摄像传感器上接受来自光学系统243的光的多个像素呈二维矩阵状排列。摄像元件244在摄像控制部248的控制下，根据从TG部247输入的信号和从处理装置4输入的时钟信号而生成图像信号。
滤色器245以层叠的方式设置在摄像元件244的受光面上。在滤色器245中以与多个像素对应的方式配置滤光器单元，该滤光器单元使用窄带滤光器和多种宽带滤光器构成，窄带滤光器的滤光器数量为多个宽带滤光器中的任意一种的滤光器数量以上，其中，该多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光，该窄带滤光器透射如下的窄带光，该窄带光具有比多种宽带滤光器各自透射宽带光的波段窄的波段，并且包含于宽带光的波段的一部分。
图3是示意性地示出滤色器245的结构的图。图3所示的滤色器245例如是根据摄像元件244的像素的配置而将滤光器单元T1呈矩阵状排列配置而成的，其中，在该滤光器单元T1中，作为一个样式而重复呈4×4(16)的矩阵状排列的滤光器。设置有滤光器的像素接受滤光器所透射的波段的光。例如，设置有透射绿色波段的光的宽带滤光器G的像素接受绿色波段的光。以下，将接受绿色波段的光的像素称为G像素。同样地，将接受蓝色波段的光的像素称为B像素，将接受红色波段的光的像素称为R像素，并且将接受窄带光的像素称为X像素。
在图3所示的滤光器单元T1中，将两个透射红色波段(620nm～750nm)的光的宽带滤光器R、八个透射绿色波段(495nm～570nm)的光的宽带滤光器G、两个透射蓝色波段(450nm～495nm)的光的宽带滤光器B以及四个窄带滤光器X作为一个样式进行重复，其中，该窄带滤光器X透射蓝色波段的一部分中的光，并且透射具有比各宽带滤光器所透射的波段窄的波段的窄带光。并且，在滤光器单元T1中，窄带滤光器X的滤光器数量为宽带滤光器B的滤光器数量以上(4＞2)。在滤光器单元T1中，为了保证白色图像的分辨率，与拜耳排列同样地将宽带滤光器G的数量设为八个，为了提高窄带图像的分辨率，将窄带滤光器X的数量设为四个。并且，在滤光器单元T1中，由于宽带滤光器B与窄带滤光器X彼此的相关性较高，因此将宽带滤光器B的数量设为两个，由于在大肠内红色较少，因此将宽带滤光器R的数量设为两个。
图4是示出构成滤色器245的各滤光器的透射率的特性的图。在图4中，横轴表示波长，纵轴表示透射率。并且，在图4中，曲线LB表示宽带滤光器B的透射率的特性，曲线LG表示宽带滤光器G的透射率的特性，曲线LR表示宽带滤光器R的透射率的特性，曲线LX表示窄带滤光器X的透射率的特性。而且，在图4中，将窄带滤光器X的峰值波长设为415nm±30nm进行说明。
如图4的曲线LX所示，窄带滤光器X具有透射窄带光的透射光谱，该窄带光具有比宽带滤光器B所透射的宽带光的波段窄的波段，并且包含于宽带滤光器B所透射的波段的一部分。而且，如图4的曲线LX所示，透过宽带滤光器B的光的波段与透过窄带滤光器X的光的波段彼此的相关性较高。具体而言，如曲线LX和曲线LB所示，窄带滤光器X的透射光谱的最大值Pmax1包含在下限值P1与上限值P2的半值宽度之间，该下限值P1和上限值P2取宽带滤光器B的透射光谱的最大值的一半的值。并且，如线LG和曲线LR所示，宽带滤光器G和宽带滤光器R各自的分光光谱彼此重叠，因此相关性高。
返回到图1和图2，继续进行内窥镜2的结构的说明。
AFE部246进行CDS(Correlated Double Sampling：相关双采样)处理和A/D转换处理等并将处理后的信号输出给处理装置4，其中，该CDS处理是指降低从摄像元件244输入的图像信号所包含的噪声成分并且调节图像信号的放大率以维持一定的输出电平，该A/D转换处理是指对图像信号进行A/D转换。
TG部247产生用于对摄像元件244和摄像控制部248分别进行驱动的各种信号处理的脉冲。TG部247将脉冲信号输出给摄像元件244和摄像控制部248。
摄像控制部248对摄像元件244的摄像进行控制。摄像控制部248使用CPU(CentralProcessing Unit：中央处理单元)和记录各种程序的寄存器等构成。
操作部22具有：弯曲旋钮221，其使弯曲部25在上下方向上和左右方向上弯曲；处置器具插入部222，其供活体鉗子、电手术刀以及检查探针等处置器具向被检体的体腔内插入；以及作为操作输入部的多个开关223，其输入处理装置4、光源装置3以及送气构件、送水构件、画面显示控制等周边设备的操作指示信号。从处置器具插入部222被插入的处置器具经由前端部24的处置器具通道(未图示)从开口部(未图示)露出。
通用缆线23至少内设有光导241以及一条或多条信号线。通用缆线23至少包含用于传送从后述的处理装置4输出的时钟信号和同步信号的信号、用于传送图像信号的信号。
(光源装置的结构)
接下来，对光源装置3的结构进行说明。光源装置3具有照明部31和照明控制部32。
照明部31在照明控制部32的控制下，依次切换并向被摄体(被检体)射出波段彼此不同的多个照明光。照明部31具有光源部311和光源驱动器312。
光源部311使用氙气灯或白色LED(Light Emitting Diode：发光二极管)等光源以及一个或多个透镜等构成，根据光源驱动器312的控制而射出白色光。另外，也可以由红色LED、绿色LED以及蓝色LED构成光源部311，通过从红色LED、绿色LED以及蓝色LED同时射出光而向被摄体照射白色光。
光源驱动器312在照明控制部32的控制下向光源部311提供电流，由此使光源部311射出白色光。
照明控制部32在处理装置4的控制下以规定的周期使光源部311射出白色光。
(处理装置的结构)
接下来，对处理装置4的结构进行说明。处理装置4具有图像处理部401、明亮度检测部402、调光部403、输入部404、记录部405、基准时钟生成部406、同步信号生成部407以及控制部408。
图像处理部401根据从内窥镜2输入的图像信号，生成使显示装置5显示的体内图像并输出给显示装置5。图像处理部401对图像信号实施规定的图像处理而生成体内图像。
这里，对图像处理部401的详细的结构进行说明。图像处理部401至少具有分离部401a、去马赛克部401b以及图像生成部401c。
分离部401a根据从内窥镜2输入的图像信号，对与分别透过了多个宽带滤光器的宽带光对应的多个宽带图像信号和与分别透过了多个窄带滤光器的窄带光对应的多个窄带图像信号进行分离。具体而言，分离部401a将从内窥镜2输入的图像信号(RAW数据)分离成与透过了宽带滤光器R的宽带光对应的宽带图像信号、与透过了宽带滤光器G的宽带光对应的宽带图像信号、与透过了宽带滤光器B的宽带光对应的宽带图像信号以及与透过了窄带滤光器X的窄带光对应的窄带图像信号。
去马赛克部401b根据分离部401a分离出的窄带图像信号来执行对多个宽带图像信号中的任意一个进行插值的去马赛克处理。具体而言，去马赛克部401b根据分离部401a分离出的窄带图像信号，执行对与透过了宽带滤光器B的宽带光对应的宽带图像信号进行插值的去马赛克处理。并且，去马赛克部401b使用G像素的图像信号来执行对R像素的图像信号进行插值的去马赛克处理。
图像生成部401c使用如下的宽带图像信号来生成宽带图像，并且使用窄带图像信号来生成窄带图像，其中，该宽带图像信号是去马赛克部401b通过去马赛克处理进行插值而得到的。具体而言，图像生成部401c根据去马赛克部401b进行拜耳排列得到的RGB图像信号来生成彩色的通常图像。并且，图像生成部401c根据X像素的图像信号，通过进行去马赛克处理而对缺失的像素的图像信号进行插值，由此生成窄带图像。
明亮度检测部402根据从图像处理部401输入的图像信号所包含的RGB图像信息，对与各图像对应的明亮度电平进行检测，将该检测到的明亮度电平记录到内部所设置的存储器中并且输出给控制部408。
调光部403在控制部408的控制下，根据明亮度检测部402检测到的明亮度电平而对光源装置3产生的光量和发光时机等发光条件进行设定，将包含该设定的发光条件在内的调光信号输出给光源装置3。
输入部404接受对内窥镜系统1的动作进行指示的动作指示信号等各种信号的输入。输入部404使用开关等构成。
记录部405记录用于使内窥镜系统1动作的各种程序和包含内窥镜系统1的动作所需的各种参数等在内的数据。并且，记录部405记录处理装置4的识别信息。这里，在识别信息中包含有处理装置4的固有信息(ID)、年代型号、规格信息、传送方法以及传送速率等。
基准时钟生成部406生成时钟信号并向内窥镜系统1的各结构部提供时钟信号，该时钟信号作为内窥镜系统1的各结构部的动作的基准。另外，在本实施方式1中，基准时钟生成部406作为时钟信号生成部发挥功能。
同步信号生成部407根据从基准时钟生成部406输入的时钟信号而生成同步信号，将该同步信号输出给内窥镜2的TG部247并且输出给图像处理部401。
控制部408进行包含摄像元件244和光源装置3在内的各结构部的驱动控制和针对各结构部的信息的输入输出控制等。控制部408使用CPU构成。
(显示装置的结构)
接下来，对显示装置5进行说明。显示装置5对与经由影像缆线从处理装置4输入的图像信号对应的体内图像进行显示。显示装置5使用液晶或有机EL(ElectroLuminescence：电致发光)等构成。
(图像处理部的处理)
接下来，对图像处理部401执行的图像处理进行说明。图5是示意性地对图像处理部401执行的图像处理的概要进行说明的图。
如图5所示，首先，分离部401a将从内窥镜2的摄像元件244输入的RAW数据F1分离成各像素的图像信号。具体而言，分离部401a从RAW数据F1中将与G像素对应的宽带图像信号分离成拜耳排列的图像数据FG1、将与R像素对应的宽带图像信号分离成图像数据FR1、将与B像素对应的宽带图像信号分离成图像数据FB1并且将与X像素对应的窄带图像信号分离成图像数据FX1。
如图5所示，在图像数据FR1中，来自与宽带滤光器R对应的R像素的宽带图像信号比拜耳排列少。因此，由于宽带滤光器G与宽带滤光器R的透射光谱(分光特性)彼此重叠、相关性较高(参照图4)，因此去马赛克部401b根据图像数据FG1的宽带图像信号，通过进行去马赛克处理而对缺失的R像素的宽带图像信号进行插值，由此生成拜耳排列的图像数据FR2。
并且，在图像数据FB1中，来自与宽带滤光器B对应的B像素的宽带图像信号比拜耳排列少。而且，由于图像数据FB1是宽带，因此虽然对深层和表层血管分别进行了拍摄，但由于边缘信息模糊而导致分辨率降低。因此，由于宽带滤光器B的分光特性包含窄带滤光器X的分光特性并且宽带滤光器G与窄带滤光器X的透射光谱彼此重叠、相关性高(参照图4)，因此去马赛克部401b根据图像数据FG1的宽带图像信号和图像数据FX1的窄带图像信号，通过去马赛克处理对缺失的B像素的宽带图像信号进行插值，由此生成拜耳排列的图像数据FB2。在该情况下，针对缺失的B像素，在具有图像数据FG1的宽带图像信号和图像数据FX1的窄带图像信号时，由于在窄带图像信号中包含更多更细微的边缘信息，因此为了更清晰地捕捉消化器粘膜的表层血管，去马赛克部401b优先使用图像数据FX1的窄带图像信号，从而通过去马赛克处理对缺失的B像素的宽带图像信号进行插值。由此，能够得到以往的拜耳排列的RAW数据FRGB并且能够以高分辨率得到图像数据FB1。
接着，去马赛克部401b根据拜耳排列的RAW数据FRGB，通过进行拜耳的去马赛克处理而生成RGB各自的图像数据FR3、图像数据FG3以及图像数据FB3。
然后，图像生成部401c根据去马赛克部401b生成的RGB各自的图像数据FR3、图像数据FG3以及图像数据FB3，生成彩色的通常图像数据FW(白色图像)并输出给显示装置5。
并且，图像生成部401c根据图像数据FX1的图像信号，通过进行去马赛克处理而对缺失的X像素进行插值，由此生成窄带图像数据FX2并输出给显示装置5。
根据上述进行了说明的本发明的实施方式1，去马赛克部401b根据与透过了窄带滤光器X的窄带光对应的窄带图像信号来进行对与宽带滤光器B对应的宽带图像信号进行插值的去马赛克处理。由此，能够以高分辨率分别得到宽带图像和窄带图像。
(实施方式1的变形例)
接下来，对本发明的实施方式1的变形例进行说明。本实施方式1的变形例的内窥镜系统与上述的实施方式1的内窥镜系统1的滤色器245的结构不同。因此，以下，仅对本实施方式1的变形例的滤色器的结构进行说明。另外，对与上述的实施方式1的内窥镜系统1相同的结构标注相同的标号并省略说明。
图6是示意性地示出本发明的实施方式1的变形例的滤色器的结构的图。
图6所示的滤色器245a以层叠的方式设置在摄像元件244的受光面上。滤色器245a例如是根据摄像元件244的像素的配置而将滤光器单元T2呈矩阵状排列配置而成的，其中，在该滤光器单元T2中，作为一个样式而重复呈4×4(16)的矩阵状排列的滤光器。在滤色器245a中以与多个像素对应的方式配置滤光器单元T2，该滤光器单元T2使用窄带滤光器和多种宽带滤光器构成，窄带滤光器的滤光器数量为多种宽带滤光器中的任意一种的滤光器数量以上，其中，该多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光，该窄带滤光器透射如下的窄带光，该窄带光具有比多种宽带滤光器各自透射宽带光的波段窄的波段，并且包含于宽带光的波段的一部分。
在图6所示的滤光器单元T2中，将两个透射红色成分的宽带滤光器R、八个透射绿色成分的宽带滤光器G、两个透射蓝色成分的宽带滤光器B以及四个透射窄带光的窄带滤光器X作为一个样式进行重复，其中，该窄带光具有比宽带滤光器B所透射的光的波段窄的波段，并包含于宽带滤光器B所透射的波段的一部分。在滤光器单元T2中，为了保证白色图像的分辨率而与拜耳排列同样地将宽带滤光器G的数量设为八个，为了提高窄带图像的分辨率而将窄带滤光器X的数量设为四个，由于宽带滤光器B与窄带滤光器X彼此的相关性较高，因此将宽带滤光器B的数量设为两个，由于在大肠内红色较少，因此将宽带滤光器R的数量设为两个。
根据以上进行了说明的本实施方式1的变形例，实现与上述的实施方式1相同的效果。
(实施方式2)
接下来，对本发明的实施方式2进行说明。本实施方式2的内窥镜系统的滤色器的结构和图像处理部的处理与上述的实施方式1的内窥镜系统1不同。因此，以下，对本实施方式2的滤色器的结构进行说明，然后对本实施方式2的图像处理部执行的处理进行说明。另外，对与上述的实施方式1的内窥镜系统1相同的结构标注相同的标号。
(滤色器的结构)
图7是示意性地示出本实施方式2的滤色器的结构的图。图7所示的滤色器245b例如是根据摄像元件244的像素的配置而将滤光器单元T3呈矩阵状排列配置而成的，其中，在该滤光器单元T3中，作为一个样式而重复呈4×4(16)的矩阵状排列的滤光器。在滤色器245b中以与多个像素对应的方式配置滤光器单元T3，该滤光器单元T3使用窄带滤光器和多种宽带滤光器和构成，窄带滤光器的滤光器数量为多种宽带滤光器中的任意一种的滤光器数量以上，其中，该多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光，窄带滤光器透射如下的窄带光，该窄带光具有比多个宽带滤光器各自透射宽带光的波段窄的波段，并且包含于宽带光的波段的一部分。
具体而言，如图7所示，在滤光器单元T3中，将两个透射红色波段的光的宽带滤光器R、四个透射绿色波段的光的宽带滤光器G、两个透射蓝色波段的光的宽带滤光器B以及八个透射窄带光的窄带滤光器X作为一个样式进行重复，其中，该窄带光具有比透过宽带滤光器的光的波段窄的波段，并且包含于宽带滤光器所透射的波段的一部分。
图8是示出构成滤色器245b的各滤光器的透射率的特性的图。在图8中，横轴表示波长，纵轴表示透射率。并且，在图8中，曲线LB1表示宽带滤光器B的透射率的特性，曲线LG1表示宽带滤光器G的透射率的特性，曲线LR1表示宽带滤光器R的透射率的特性，曲线LX1表示窄带滤光器X的透射率的特性。而且，在图8中，将窄带滤光器X的峰值波长设为415nm±30nm进行说明。
如图8的曲线LX1和曲线LB1所示，窄带滤光器X具有透射窄带光的透射光谱，该窄带光具有比宽带滤光器B所透射的波段窄的波段，并且包含于宽带滤光器B所透射的波段的一部分。而且，宽带滤光器B所透射的波段与窄带滤光器X所透射的波段彼此的相关性高。而且，窄带滤光器X的透射光的透射光谱的最大值Pmax2取透过宽带滤光器B的光的透射光谱的下限值与上限值P2之间的半值宽度。并且，如曲线LG1和曲线LR1所示，宽带滤光器G与宽带滤光器R各自的透射光谱彼此重叠，因此相关性高。
(图像处理部的处理)
接下来，对图像处理部401执行的处理进行说明。图9是示意性地对图像处理部401执行的图像处理的概要进行说明的图。
如图9所示，首先，分离部401a将从内窥镜2的摄像元件244输入的RAW数据F2分离成各像素的图像信号。具体而言，分离部401a从RAW数据F2中将与G像素对应的宽带图像信号分离成拜耳排列的图像数据FG10，将与R像素对应的宽带图像信号分离成图像数据FR10，将与B像素对应的宽带图像信号分离成图像数据FB10并且将与X像素对应的窄带图像信号分离成图像数据FX10。
接着，图像生成部401c根据图像数据FX10的窄带图像信号，针对缺失的X像素，通过进行去马赛克处理而对窄带图像信号进行插值，由此生成窄带图像数据FX20并输出给显示装置5。
在窄带图像数据FX20的窄带图像信号中包含有毛细血管的细微的边缘信息。因此，去马赛克部401b根据窄带图像数据FX20的窄带图像信号，通过进行去马赛克处理而对图像数据FB10所缺失的B像素的宽带图像信号进行插值，由此生成宽带图像数据FB20。
然后，去马赛克部401b根据宽带图像数据FB20和窄带图像数据FX20的窄带图像信号所包含的边缘信息，通过进行去马赛克处理而对图像数据FG10所缺失的G像素的宽带图像信号进行插值，由此生成宽带图像数据FG20。
接着，去马赛克部401b根据宽带图像数据FG20的宽带图像信号，通过进行去马赛克处理而对图像数据FR10所缺失的R像素的宽带图像信号进行插值，从而生成宽带图像数据FR20。
然后，图像生成部401c根据去马赛克部401生成的RGB各自的宽带图像数据FR20、宽带图像数据FG20以及宽带图像数据FB20而生成彩色的通常图像数据FW10(白色图像)并输出给显示装置5。
根据以上进行了说明的本发明的实施方式2，去马赛克部401b使用由X像素输出的窄带图像信号，通过去马赛克处理对B像素的宽带图像信号进行插值。由此，能够以高分辨率分别得到通常图像和窄带图像。
(实施方式3)
接下来，对本发明的实施方式3进行说明。本实施方式3的内窥镜系统的滤色器的结构和图像处理部的处理与上述的实施方式1的内窥镜系统1不同。具体而言，本实施方式3的滤色器具有彼此透射光谱不同的两种窄带滤光器。因此，以下，对本实施方式3的滤色器的结构进行说明，然后对本实施方式3的图像处理部执行的处理进行说明。另外，对与上述的实施方式1的内窥镜系统1相同的结构标注相同的标号并省略说明。
(滤色器的结构)
图10是示意性地示出本实施方式3的滤色器的结构的图。图10所示的滤色器245c例如是根据摄像元件244的像素的配置而将滤光器单元T4呈矩阵状排列配置而成的，其中，在该滤光器单元T4中，作为一个样式而重复呈4×4(16)的矩阵状排列的滤光器。在滤色器245c中以与多个像素对应的方式配置滤光器单元T4，该滤光器单元T4使用窄带滤光器和多种宽带滤光器，窄带滤光器的滤光器数量为多种宽带滤光器中的任意一种的滤光器数量以上，其中，该多个宽带滤光器透射包含彼此不同的原色的波段在内的宽带光，该窄带滤光器透射如下的窄带光，该窄带光具有比多个宽带滤光器各自透射宽带光的波段窄的波段，并且包含于宽带光的波段的一部分。
在图10所示的滤光器单元T4中，将两个透射红色波段的光的宽带滤光器R、四个透射绿色波段的光的宽带滤光器G、两个透射蓝色波段的光的宽带滤光器B、四个透射具有比透过宽带滤光器B的光的波段窄的波段且包含于宽带滤光器B所透射的波段的一部分中的窄带光的窄带滤光器X1、四个透射具有比透过宽带滤光器G的光的波段窄的波段且包含于宽带滤光器G所透射的波段的一部分中的窄带光的窄带滤光器X2作为一个样式进行重复。
图11是示出构成滤色器245c的各滤光器的透射率的特性的图。在图11中，横轴表示波长，纵轴表示透射率。并且，在图11中，曲线LB10表示宽带滤光器B的透射率的特性，曲线LG10表示宽带滤光器G的透射率的特性，曲线LR10表示宽带滤光器R的透射率的特性，曲线LX10表示窄带滤光器X1的透射率的特性，曲线LX20表示窄带滤光器X2的透射率的特性。而且，在图11中，将窄带滤光器X1的峰值波长设为415nm±30nm、将窄带滤光器X2的峰值波长设为540nm±30nm进行说明。
如图11的曲线LX10和曲线LB10所示，窄带滤光器X1具有透射窄带光透射的光谱，该窄带光具有比宽带滤光器B所透射的波段窄的波段并且包含于宽带滤光器B所透射的波段的一部分。而且，如曲线LX10和曲线LB10所示，宽带滤光器B所透射的透射光谱与窄带滤光器X1所透射的透射光谱彼此的相关性高。而且，如曲线LX10和曲线LB10所示，窄带滤光器X1的透射光的透射光谱的最大值Pmax3为透过宽带滤光器B的光的透射光谱的下限值P31与上限值P32之间的半值宽度。
并且，如图11的曲线LX20和曲线LG10所示，窄带滤光器X2具有透射窄带光的透射光谱，该窄带光具有比宽带滤光器G透射光的波段窄的波段，并且包含于宽带滤光器G透射光的波段的一部分。而且，如曲线LX20和曲线LG10所示，宽带滤光器G所透射的透射光谱与窄带滤光器X2所透射的透射光谱彼此的相关性高。而且，如曲线LX20和曲线LG10所示，窄带滤光器X2的透射光的透射光谱的最大值Pmax4为透过宽带滤光器G的光的透射光谱的下限值P41与上限值P42之间的半值宽度。
(图像处理部的处理)
接下来，对图像处理部401执行的处理进行说明。图12是示意性地对图像处理部401执行的图像处理的概要进行说明的图。
如图12所示，首先，分离部401a将从内窥镜2的摄像元件244输入的RAW数据F3分离成各像素的图像信号。具体而言，分离部401a从RAW数据F3中将与R像素对应的宽带图像信号分离成图像数据FR30，将与B像素对应的宽带图像信号分离成图像数据FB30，将与X1像素对应的窄带图像信号分离成图像数据FX30，将与G像素对应的宽带图像信号分离成拜耳排列的图像数据FG30并且将与X2像素对应的窄带图像信号分离成图像数据FX50。
接着，去马赛克部401b根据图像数据FX30，针对缺失的X1像素，通过进行去马赛克处理而对X1像素的窄带图像信号进行插值，由此生成窄带图像数据FX40。并且，去马赛克部401b根据图像数据FX50，针对缺失的X2像素，通过进行去马赛克处理而对X2像素的窄带图像信号进行插值，由此生成窄带图像数据FX60。
由于图像数据FG30是宽带的，因此无法鲜明地对深层血管进行拍摄。宽带滤光器G的分光特性包含窄带滤光器X2的分光特性，并且宽带滤光器G与窄带滤光器X2的透射光谱彼此重叠、相关性高(参照图11)，在X2像素的窄带图像信号中包含有深层血管的边缘信息。因此，去马赛克部401b根据窄带图像数据FX60的窄带图像信号，通过进行去马赛克处理而对图像数据FG30所缺失的G像素的宽带图像信号进行插值，由此生成宽带图像数据FG40。
并且，由于图像数据FB30是宽带的，因此无法鲜明地对表层血管进行拍摄。宽带滤光器B的分光特性包含窄带滤光器X1的分光特性，并且宽带滤光器B与窄带滤光器X1的透射光谱彼此重叠、相关性高(参照图11)，在X1像素的窄带图像信号中包含有表层血管的边缘信息。因此，去马赛克部401b根据图像数据FX30、窄带图像数据FX40以及宽带图像数据FG40，通过进行去马赛克处理而对图像数据FB30所缺失的B像素的图像信号进行插值，由此生成宽带图像数据FB40。在该情况下，当在要插值的B像素中具有窄带图像数据FX40的窄带图像信号和宽带图像数据FG40的宽带图像信号时，去马赛克部401b优先使用窄带图像数据FX40的窄带图像信号，从而通过去马赛克处理对缺失的B图像的宽带图像信号进行插值。
然后，去马赛克部401b根据图像数据FR30和宽带图像数据FG40，通过进行去马赛克处理而对图像数据FR30所缺失的R像素的宽带图像信号进行插值，由此生成宽带图像数据FR40。
接着，图像生成部401c根据宽带图像数据FR40、宽带图像数据FB40以及宽带图像数据FG40而生成白色图像数据FW30并输出给显示装置5。并且，图像生成部401c根据窄带图像数据FX40和窄带图像数据FX60而生成NBI(Narrow Band Imaging：窄带成像)图像数据FX100并输出给显示装置5。
根据以上进行了说明的本发明的实施方式3，在活体摄影中，相比于G像素而根据X像素和B像素的边缘信息，进行去马赛克处理，由此能够提高表层的血管的分辨率。
(其他实施方式)
在本发明中，滤色器由原色滤光器构成，但也可以使用例如透射具有补色的波长成分的光的补色滤光器(Cy、Mg、Ye)。还可以使用由原色滤光器和透射具有橘色和青色的波长成分的光的滤光器(Or、Cy)构成的滤色器(R、G、B、Or、Cy)作为滤色器。还可以使用由原色滤光器和透射具有白色的波长成分的光的滤光器(W)构成的滤色器(R、G、B、W)。
并且，在本发明中，以具有图像处理装置的内窥镜系统为例进行了说明，但例如在胶囊型的框体内设置有本实施方式的图像处理装置和摄像元件、通过被检体口服而对被检体的体腔内进行拍摄的胶囊型内窥镜也能够应用。
标号说明
1：内窥镜系统；2：内窥镜；3：光源装置；4：处理装置；5：显示装置；21：插入部；22：操作部；23：通用缆线；24：前端部；25：弯曲部；26：挠性管部；31：照明部；32：照明控制部；221：弯曲旋钮；222：处置器具插入部；223：开关；241：光导；242：照明透镜；243：光学系统；244：摄像元件；245、245a、245b、245c：滤色器；246：AFE部；247：TG部；248：摄像控制部；250：集合缆线；311：光源部；312：光源驱动器；401：图像处理部；401a：分离部；401b：去马赛克部；401c：图像生成部；402：明亮度检测部；403：调光部；404：输入部；405：记录部；406：基准时钟生成部；407：同步信号生成部；408控制部；B、G、R：宽带滤光器；T1、T2、T3、T4：滤光器单元；X、X1、X2：窄带滤光器。

Claims (11)

1.一种图像处理装置，其特征在于，该图像处理装置具有：
分离部，其根据从摄像装置输入的图像信号，将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离，所述摄像装置具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号，该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光，所述滤色器以与所述多个像素对应的方式配置；
去马赛克部，其进行如下的去马赛克处理：根据所述分离部分离出的所述窄带图像信号中包含的边缘信息，对所述多个宽带图像信号中的一个宽带图像信号进行插值；以及
图像生成部，其使用所述去马赛克部通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像，并且使用所述窄带图像信号来生成窄带图像，
所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器，
所述窄带滤光器具有第一窄带滤光器，该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间，
所述去马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号中包含的边缘信息进行所述去马赛克处理，从而对与所述蓝色滤光器对应的宽带图像信号进行插值，
所述第一窄带滤光器的滤光器数量为所述蓝色滤光器的滤光器数量以上。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述窄带滤光器具有第二窄带滤光器，该第二窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述绿色滤光器的透射光谱的半值宽度之间，
所述去马赛克部使用与透过了所述第二窄带滤光器的所述窄带光对应的第二窄带图像信号中包含的边缘信息进行所述去马赛克处理，从而对与所述绿色滤光器对应的宽带图像信号进行插值。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述去马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号中包含的边缘信息、和已经进行所述去马赛克处理而完成插值的与所述蓝色滤光器对应的宽带图像信号进行所述去马赛克处理，从而对与所述绿色滤光器对应的宽带图像信号进行插值。
4.根据权利要求1或2所述的图像处理装置，其特征在于，
所述去马赛克部在具有与所述绿色滤光器对应的宽带图像信号和与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号的情况下，在对与所述蓝色滤光器对应的宽带图像信号进行插值时，使用所述第一窄带图像信号中包含的边缘信息和与所述绿色滤光器对应的宽带图像信号进行所述去马赛克处理。
5.一种图像处理装置，其特征在于，该图像处理装置具有：
分离部，其根据从摄像装置输入的图像信号，将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离，所述摄像装置具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号，该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光，所述滤色器以与所述多个像素对应的方式配置；
去马赛克部，其进行如下的去马赛克处理：根据所述分离部分离出的所述窄带图像信号中包含的边缘信息，对所述多个宽带图像信号中的一个宽带图像信号进行插值；以及
图像生成部，其使用所述去马赛克部通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像，并且使用所述窄带图像信号来生成窄带图像，
所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器，
所述窄带滤光器具有第一窄带滤光器，该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间，
所述去马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号中包含的边缘信息进行所述去马赛克处理，从而对与所述绿色滤光器对应的宽带图像信号进行插值。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述去马赛克部使用所述第一窄带图像信号中包含的边缘信息进行所述去马赛克处理，从而对与所述蓝色滤光器对应的宽带图像信号进行插值。
7.一种内窥镜系统，其特征在于，该内窥镜系统具有：
权利要求1～6中的任意一项的图像处理装置；
摄像装置，其具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成图像信号，该滤色器使用窄带滤光器和多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的窄带光，所述滤色器以与所述多个像素对应的方式配置；以及
插入部，其在前端设置有所述摄像装置，该插入部被插入到被检体内。
8.一种图像处理方法，其特征在于，该图像处理方法具有以下步骤：
分离步骤，根据从摄像装置输入的图像信号，将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离，所述摄像装置具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号，该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光，所述滤色器以与所述多个像素对应的方式配置；
去马赛克步骤，进行如下的去马赛克处理：根据在所述分离步骤中分离出的所述窄带图像信号中包含的边缘信息，对所述多个宽带图像信号中的一个宽带图像信号进行插值；以及
图像生成步骤，使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像，并且使用所述窄带图像信号来生成窄带图像，
所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器，
所述窄带滤光器具有第一窄带滤光器，该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间，
在所述去马赛克步骤中，使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号中包含的边缘信息进行所述去马赛克处理，从而对与所述蓝色滤光器对应的宽带图像信号进行插值，
所述第一窄带滤光器的滤光器数量为所述蓝色滤光器的滤光器数量以上。
9.一种图像处理方法，其特征在于，该图像处理方法具有以下步骤：
分离步骤，根据从摄像装置输入的图像信号，将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离，所述摄像装置具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号，该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光，所述滤色器以与所述多个像素对应的方式配置；
去马赛克步骤，进行如下的去马赛克处理：根据在所述分离步骤中分离出的所述窄带图像信号中包含的边缘信息，对所述多个宽带图像信号中的一个宽带图像信号进行插值；以及
图像生成步骤，使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像，并且使用所述窄带图像信号来生成窄带图像，
所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器，
所述窄带滤光器具有第一窄带滤光器，该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间，
在所述去马赛克步骤中，使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号中包含的边缘信息进行所述去马赛克处理，从而对与所述绿色滤光器对应的宽带图像信号进行插值。
10.一种记录程序的记录介质，其中，
该程序使图像处理装置执行以下步骤：
分离步骤，根据从摄像装置输入的图像信号，将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离，所述摄像装置具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号，该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光，所述滤色器以与所述多个像素对应的方式配置；
去马赛克步骤，进行如下的去马赛克处理：根据在所述分离步骤中分离出的所述窄带图像信号中包含的边缘信息，对所述多个宽带图像信号中的一个宽带图像信号进行插值；以及
图像生成步骤，使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像，并且使用所述窄带图像信号来生成窄带图像，
所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器，
所述窄带滤光器具有第一窄带滤光器，该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间，
在所述去马赛克步骤中，使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号中包含的边缘信息进行所述去马赛克处理，从而对与所述蓝色滤光器对应的宽带图像信号进行插值，
所述第一窄带滤光器的滤光器数量为所述蓝色滤光器的滤光器数量以上。
11.一种记录程序的记录介质，其中，
该程序使图像处理装置执行以下步骤：
分离步骤，根据从摄像装置输入的图像信号，将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离，所述摄像装置具有摄像元件和滤色器，在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号，该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成，所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上，所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光，所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光，所述滤色器以与所述多个像素对应的方式配置；
去马赛克步骤，进行如下的去马赛克处理：根据在所述分离步骤中分离出的所述窄带图像信号中包含的边缘信息，对所述多个宽带图像信号中的一个宽带图像信号进行插值；以及
图像生成步骤，使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像，并且使用所述窄带图像信号来生成窄带图像，
所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器，
所述窄带滤光器具有第一窄带滤光器，该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间，
在所述去马赛克步骤中，使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号中包含的边缘信息进行所述去马赛克处理，从而对与所述绿色滤光器对应的宽带图像信号进行插值。
CN201580075786.6A 2015-02-10 2015-02-10 图像处理装置、内窥镜系统、图像处理方法以及记录介质 Expired - Fee Related CN107205618B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/053687 WO2016129062A1 (ja) 2015-02-10 2015-02-10 画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN107205618A CN107205618A (zh) 2017-09-26
CN107205618B true CN107205618B (zh) 2019-03-26

Family

ID=56615374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580075786.6A Expired - Fee Related CN107205618B (zh) 2015-02-10 2015-02-10 图像处理装置、内窥镜系统、图像处理方法以及记录介质

Country Status (4)

Country Link
US (1) US10835104B2 (zh)
JP (1) JP6588043B2 (zh)
CN (1) CN107205618B (zh)
WO (1) WO2016129062A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107205618B (zh) * 2015-02-10 2019-03-26 奥林巴斯株式会社 图像处理装置、内窥镜系统、图像处理方法以及记录介质
JP6561571B2 (ja) * 2015-05-12 2019-08-21 ソニー株式会社 医療用撮像装置、撮像方法及び撮像装置
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
JPWO2018105089A1 (ja) 2016-12-08 2019-10-24 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN111093459A (zh) 2017-10-04 2020-05-01 奥林巴斯株式会社 内窥镜装置、图像处理方法以及程序
JP7015384B2 (ja) 2018-04-23 2022-02-02 富士フイルム株式会社 医療画像処理システム
JP7235540B2 (ja) * 2019-03-07 2023-03-08 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
WO2020188676A1 (ja) * 2019-03-18 2020-09-24 三菱電機株式会社 ライダ装置及び空気調和機
WO2020237591A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 一种色彩滤镜阵列、图像传感器和拍摄装置
CN113616138B (zh) * 2021-08-03 2024-05-03 北京双翼麒电子有限公司 一种多光谱内窥镜图像处理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201114A (zh) * 2010-03-23 2011-09-28 奥林巴斯株式会社 图像处理装置和图像处理方法
CN102458215A (zh) * 2009-06-10 2012-05-16 奥林巴斯医疗株式会社 胶囊型内窥镜装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101081000B1 (ko) * 2003-10-23 2011-11-09 소니 가부시키가이샤 화상 처리 장치 및 화상 처리 방법과 기록 매체
JP4810807B2 (ja) * 2004-07-30 2011-11-09 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US7653240B1 (en) * 2005-04-22 2010-01-26 Texas Instruments Incorporated Color filter array and method
JP5191090B2 (ja) * 2005-07-15 2013-04-24 オリンパスメディカルシステムズ株式会社 内視鏡装置
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
KR20120114895A (ko) * 2011-04-08 2012-10-17 삼성전자주식회사 내시경 장치 및 상기 내시경 장치의 영상 획득 방법
US9277205B2 (en) * 2012-05-14 2016-03-01 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging
JP6017276B2 (ja) * 2012-11-21 2016-10-26 オリンパス株式会社 撮像装置
JP2015103151A (ja) * 2013-11-27 2015-06-04 ソニー株式会社 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器
JP6196900B2 (ja) * 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
CN107205618B (zh) * 2015-02-10 2019-03-26 奥林巴斯株式会社 图像处理装置、内窥镜系统、图像处理方法以及记录介质
US9990695B2 (en) * 2015-03-27 2018-06-05 Intel Corporation Edge sensing measure for raw image processing
US9681109B2 (en) * 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
US10321816B2 (en) * 2016-06-17 2019-06-18 Fujifilm Corporation Light source device and endoscope system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102458215A (zh) * 2009-06-10 2012-05-16 奥林巴斯医疗株式会社 胶囊型内窥镜装置
CN102201114A (zh) * 2010-03-23 2011-09-28 奥林巴斯株式会社 图像处理装置和图像处理方法

Also Published As

Publication number Publication date
US20170325658A1 (en) 2017-11-16
CN107205618A (zh) 2017-09-26
WO2016129062A1 (ja) 2016-08-18
JPWO2016129062A1 (ja) 2017-12-07
JP6588043B2 (ja) 2019-10-09
US10835104B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
CN107205618B (zh) 图像处理装置、内窥镜系统、图像处理方法以及记录介质
CN105828693B (zh) 内窥镜装置
US20230270325A1 (en) Imaging system for endoscope
CN105792727B (zh) 内窥镜装置
EP2896354A1 (en) Endoscope device
JP5997817B2 (ja) 内視鏡システム
CN105163646B (zh) 内窥镜
WO2017159165A1 (ja) 内視鏡装置、画像処理装置、画像処理方法およびプログラム
JP7219208B2 (ja) 内視鏡装置
JP2014147667A (ja) 内視鏡装置及びその作動方法
WO2016084257A1 (ja) 内視鏡装置
CN111343898A (zh) 内窥镜系统及其工作方法
CN107072506A (zh) 摄像装置和处理装置
JPWO2019069414A1 (ja) 内視鏡装置、画像処理方法およびプログラム
CN105473052B (zh) 摄像装置以及内窥镜装置
US11571111B2 (en) Endoscope scope, endoscope processor, and endoscope adaptor
JP6190906B2 (ja) 撮像モジュール、及び内視鏡装置
WO2018211600A1 (ja) 撮像装置、内視鏡システム、制御方法およびプログラム
JP2015047440A (ja) プロセッサ
CN107408562A (zh) 摄像元件以及摄像装置
JP2018192043A (ja) 内視鏡及び内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190326

Termination date: 20200210