CN106388756A - 图像处理装置及其工作方法以及内窥镜系统 - Google Patents

图像处理装置及其工作方法以及内窥镜系统 Download PDF

Info

Publication number
CN106388756A
CN106388756A CN201610607715.2A CN201610607715A CN106388756A CN 106388756 A CN106388756 A CN 106388756A CN 201610607715 A CN201610607715 A CN 201610607715A CN 106388756 A CN106388756 A CN 106388756A
Authority
CN
China
Prior art keywords
signal
color
green
light
blue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610607715.2A
Other languages
English (en)
Other versions
CN106388756B (zh
Inventor
藏本昌之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN106388756A publication Critical patent/CN106388756A/zh
Application granted granted Critical
Publication of CN106388756B publication Critical patent/CN106388756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736Gastroscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125Colour sequential image capture, e.g. using a colour wheel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Dentistry (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供图像处理装置及其工作方法以及内窥镜系统。对第1RGB图像信号进行输入处理。从第1RGB图像信号获取第1色信息。在由第1色信息形成的特征空间中,进行选择性扩张处理而得到第2色信息,该选择性扩张处理使体腔内的观察对象所示的第1色信息所分布的多个色范围中的第1色范围不变动,而使其他的色范围变动。将第2色信息转换成第2RGB图像信号。对第2RGB图像信号进行伪彩色显示处理,而得到红色显示用信号、绿色显示用信号以及蓝色显示用信号。

Description

图像处理装置及其工作方法以及内窥镜系统
技术领域
本发明涉及生成对被检体内的观察对象进行拍摄而得到的图像的图像处理装置、内窥镜系统以及图像处理装置的工作方法。
背景技术
在医用领域中,广泛进行使用内窥镜系统的诊断,该内窥镜系统具有光源装置、内窥镜以及处理器装置。在该内窥镜系统中,从内窥镜对观察对象照射照明光,根据对利用该照明光实现照明的过程中的观察对象进行拍摄而得到的图像信号,在监视器上显示观察对象的图像。医生一边观察显示在监视器中的图像一边对有无病变部进行检测。
在病变部中,关于胃癌公知胃的粘膜产生萎缩而导致胃的粘膜变化成褪色色调。因此,粘膜中产生萎缩的萎缩部相对于未产生萎缩的正常部会产生色的差异。对胃癌进行检测的诊断是观察到这种与正常部的色的差异而进行的(已有认定NPO法人日本胃癌预测·诊断·治疗研究机构推荐的ABC筛查)。
这里,在萎缩高度推进的情况下(例如,在ABC筛查中包含在C组或D组中的情况),由于正常部与萎缩部的色的差异明确,因此能够容易地检测萎缩部。然而,在萎缩推进中的情况下(例如,在ABC筛查中包含在B组或C组中的情况),由于萎缩部与正常部的色差很小,因此有时难以仅凭色的差异检测萎缩部。
对此,在美国专利申请公开No.2016/0007829(相关日本特许公开No.5647752)中,通过在由3色的图像信号中的2色的图像信号间的第1信号比和不同于该第1信号比的2色的图像信号间的第2信号比所形成的空间中,进行使第1色范围的第1和第2信号比与第2色范围的第1和第2信号比的差值增大的色差强调处理,而增大萎缩部与正常部的色差。
除了正常部与病变部的色的差异外,还考虑血管的行进图案等血管的状态而进行病变部的诊断。因此,寻求像美国专利申请公开No.2016/0007829那样不仅对正常部与病变部的色差进行强调,还对观察对象上的血管进行强调,而提高血管的视认性。
发明内容
本发明的目的在于提供图像处理装置、内窥镜系统以及图像处理装置的工作方法,对正常部与病变部的色差进行强调,并且获取提高了观察对象上的血管的视认性的图像。
本发明的图像处理装置具有图像信号输入处理部、色信息获取部、扩张处理部、RGB信号转换部以及伪彩色显示处理部。图像信号输入处理部对第1红色信号、第1绿色信号以及第1蓝色信号进行输入处理。色信息获取部从第1红色信号、第1绿色信号以及第1蓝色信号获取第1色信息。扩张处理部在由第1色信息形成的特征空间中进行选择性扩张处理而得到第2色信息,该选择性扩张处理使体腔内的观察对象所示的第1色信息所分布的多个色范围中的第1色范围不变动,而使其他的色范围变动。RGB信号转换部将第2色信息转换成第2红色信号、第2绿色信号以及第2蓝色信号。伪彩色显示处理部对第2红色信号、第2绿色信号以及第2蓝色信号进行伪彩色显示处理,而得到红色显示用信号、绿色显示用信号以及蓝色显示用信号。
优选伪彩色显示处理是第1色调转换处理,该第1色调转换处理从第2蓝色信号转换成蓝色显示用信号和绿色显示用信号、从第2绿色信号转换成红色显示用信号。优选伪彩色显示处理是第2色调转换处理,该第2色调转换处理对第2蓝色信号和第2红色信号进行第1加权运算而求出蓝色显示用信号、对第2蓝色信号和第2红色信号进行第2加权运算而求出绿色显示用信号、对第2绿色信号和第2红色信号进行第3加权运算而求出红色显示用信号。
优选扩张处理部具有角度调整部,该角度调整部作为选择性扩张处理在特征空间中进行角度等倍处理和角度调整处理,其中,该角度等倍处理根据角度变化率W1x使包含经过第1色范围的第1基准线在内的一定的范围R1x内的角度等倍,该角度调整处理按照比角度变化率W1x大或小的角度变化率W1y使范围R1x的范围外的范围R1y内的角度发生变化。
优选扩张处理部具有极径调整部,该极径调整部作为选择性扩张处理在特征空间中进行极径等倍处理和极径调整处理,其中,该极径等倍处理根据极径变化率W2x使包含经过第1色范围且与经过第1色范围的第1基准线交叉的第2基准线在内的一定的范围R2x内的极径等倍,该极径调整处理按照比极径变化率W2x大或小的极径变化率W2y使范围R2x的范围外的范围R2y的极径发生变化。
优选第1色信息是第1红色信号、第1绿色信号以及第1蓝色信号中的2色的信号之间的第1信号比以及与第1信号比不同的2色的图像信号之间的第2信号比,特征空间由第1信号比和第2信号比形成。优选第1色信息是色差信号Cr、Cb,特征空间由色差信号Cr、Cb形成。优选第1色信息是CIE Lab空间的色泽的要素a、b,特征空间由要素a、b形成。优选第1色信息是色相和彩度,特征空间由色相和彩度形成。
优选该图像处理装置还具有明亮度调整部,该明亮度调整部根据由第1红色信号、第1绿色信号以及第1蓝色信号得到的第1明亮度信息和由第2红色信号、第2绿色信号以及第2蓝色信号得到的第2明亮度信息,对第2红色信号、第2绿色信号以及第2蓝色信号的像素值进行调整。
本发明的内窥镜系统具有拍摄传感器、图像信号输入处理部、色信息获取部、扩张处理部、RGB信号转换部以及伪彩色显示处理部。拍摄传感器对由照明光照明的观察对象进行拍摄。图像信号输入处理部对从拍摄传感器输出的第1红色信号、第1绿色信号以及第1蓝色信号进行输入处理。色信息获取部从第1红色信号、第1绿色信号以及第1蓝色信号获取第1色信息。扩张处理部在由第1色信息形成的特征空间中进行选择性扩张处理而得到第2色信息,该选择性扩张处理使体腔内的观察对象所示的第1色信息所分布的多个色范围中的第1色范围不变动,而使其他的色范围变动。RGB信号转换部将第2色信息转换成第2红色信号、第2绿色信号以及第2蓝色信号。伪彩色显示处理部对第2红色信号、第2绿色信号以及第2蓝色信号进行伪彩色显示处理而得到红色显示用信号、绿色显示用信号以及蓝色显示用信号。
优选内窥镜系统还具有:光源部,其发出紫色光或蓝色光中的至少一方的光、绿色光以及红色光;光源控制部,其独立地控制紫色光或蓝色光中的至少一方的光、绿色光以及红色光的光量,光源控制部进行使紫色光或蓝色光中的至少一方的光和绿色光的光量比红色光的光量大的特定光量控制。优选拍摄传感器具有蓝色像素、绿色像素以及红色像素,内窥镜系统还包含进行针对蓝色像素、绿色像素以及红色像素的控制的拍摄控制部,拍摄控制部进行使蓝色像素和绿色像素的感光度比红色像素的感光度高的特定拍摄控制。
本发明的图像处理装置的工作方法具有图像信号输入步骤、色信息获取步骤、扩张步骤、RGB信号转换步骤以及伪彩色显示步骤。在图像信号输入步骤中,图像信号输入处理部对第1红色信号、第1绿色信号以及第1蓝色信号进行输入处理。在色信息获取步骤中,色信息获取部从第1红色信号、第1绿色信号以及第1蓝色信号获取第1色信息。在扩张步骤中,扩张处理部在由第1色信息形成的特征空间中进行选择性扩张处理而得到第2色信息,该选择性扩张处理使体腔内的观察对象所示的第1色信息所分布的多个色范围中的第1色范围不变动,而使其他的色范围变动。在RGB信号转换步骤中,RGB信号转换部将第2色信息转换成第2红色信号、第2绿色信号以及第2蓝色信号。在伪彩色显示步骤中,伪彩色显示处理部对第2红色信号、第2绿色信号以及第2蓝色信号进行伪彩色显示处理而得到红色显示用信号、绿色显示用信号以及蓝色显示用信号。
根据本发明,能够获取对正常部与病变部的色差进行了强调并且提高了观察对象上的血管的视认性的图像。
附图说明
本领域的技术人员参照附图阅读本发明的优选的实施例的详细的说明而能够容易地理解上述目的和优点:
图1是第1A实施方式的内窥镜系统的外观图。
图2是示出第1A实施方式的内窥镜系统的功能的框图。
图3是示出紫色光V、蓝色光B、绿色光G以及红色光R的发光光谱的图表。
图4是示出特征空间是信号比空间的情况下的特殊图像处理部的功能的框图。
图5是示出信号比空间中的第1色范围、第2色范围、第3色范围、第4色范围、第5色范围的分布的图表。
图6是示出角度θ的调整方法的说明图。
图7是示出角度θ与角度变化率的关系的图表。
图8是示出角度θ与角度Eθ的关系的图表。
图9的(A)是示出信号比空间用的角度等倍处理和角度调整处理之前的状态的说明图,图9的(B)是示出信号比空间用的角度等倍处理和角度调整处理之后的状态的说明图。
图10是示出极径r的调整方法的说明图。
图11是示出极径r与极径变化率的关系的图表。
图12是示出极径r与极径Er的关系的图表。
图13的(A)是示出信号比空间用的极径等倍处理和极径调整处理之前的状态的说明图,图13的(B)是示出信号比空间用的极径等倍处理和极径调整处理之后的状态的说明图。
图14是示出使用特殊观察模式来进行观察对象的观察的一系列的流程的流程图。
图15是示出信号比空间中的第2色范围、第3色范围、第4色范围、第5色范围的移动方向的说明图。
图16是示出拍摄传感器的BGR像素的电荷蓄积时间的说明图。
图17是示出在特征空间为CbCr空间的情况下使用的特殊图像处理部的功能的框图。
图18是示出特征空间(CbCr空间)中的第1色范围、第2色范围、第3色范围、第4色范围、第5色范围的分布的图表。
图19是示出进行CbCr空间用的角度等倍处理和角度调整处理之前和之后的第1色范围、第3色范围、第5色范围的分布的说明图。
图20是示出进行CbCr空间用的极径等倍处理和极径调整处理之前和之后的第1色范围、第2色范围、第4色范围的分布的说明图。
图21的(A)是示出ab空间用的角度等倍处理和角度调整处理之前的状态的说明图,图21的(B)是示出ab空间用的角度等倍处理和角度调整处理之后的状态的说明图。
图22的(A)是示出ab空间用的极径等倍处理和极径调整处理之前的状态的说明图,图22的(B)是示出ab空间用的极径等倍处理和极径调整处理之后的状态的说明图。
图23是示出在特征空间是HS空间的情况下使用的特殊图像处理部的功能的框图。
图24是示出特征空间(HS空间)中的第1色范围、第2色范围、第3色范围、第4色范围、第5色范围的分布的图表。
图25是示出第1平行移动部所进行的平行移动的处理的说明图。
图26是示出第2平行移动部所进行的平行移动的处理的说明图。
图27是示出第2实施方式的内窥镜系统的功能的框图。
图28是示出白色光的发光光谱的图表。
图29是示出特殊光的发光光谱的图表。
图30是示出第3实施方式的内窥镜系统的功能的框图。
图31是示出旋转滤波器的俯视图。
图32是示出第4实施方式的胶囊内窥镜系统的功能的图。
图33是示出与图3不同的紫色光V、蓝色光B、绿色光G以及红色光R的发光光谱的图表。
图34是示出使用二维LUT的情况下的特殊图像处理部的功能的框图。
具体实施方式
[第1A实施方式]
如图1所示,第1A实施方式的内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、监视器18、控制台19。内窥镜12与光源装置14光学性地连接,并且与处理器装置16电连接。内窥镜12具有:插入部12a,其插入被检体内;操作部12B,其设置于插入部12a的基端部分;以及弯曲部12c和前端部12d,它们设置于插入部12a的前端侧。通过对操作部12B的角度旋钮12e进行操作而使弯曲部12c进行弯曲动作。伴随着该弯曲动作而使前端部12d朝向期望的方向。
并且,在操作部12B上,除了角度旋钮12e还设置有模式切换SW13。模式切换SW13用于通常观察模式与特殊观察模式这2种模式间的切换操作。通常观察模式是在监视器18上显示通常图像的模式。特殊观察模式是在监视器18上显示对观察对象中的正常部与异常部的色差进行强调、且提高了血管的视认性的特殊图像的模式。
处理器装置16与监视器18和控制台19电连接。监视器18对图像信息等进行输出显示。控制台19作为接受功能设定等输入操作的UI(User Interface:用户界面)发挥功能。另外,处理器装置16也可以连接有对图像信息等进行记录的外接的记录部(省略图示)。
如图2所示,光源装置14具有:光源控制部21,其对V-LED(Violet Light EmittingDiode:紫色发光二极管)20a、B-LED(Blue Light Emitting Diode:蓝色发光二极管)20b、G-LED(Green Light Emitting Diode:绿色发光二极管)20c、R-LED(Red Light EmittingDiode:红色发光二极管)20d这4色的LED 20a~20d的驱动进行控制;以及光路耦合部23,其将从4色的LED 20a~20d发出的4色的光的光路耦合。由光路耦合部23结合的光经由贯穿插入于插入部12a内的光导41和照明透镜45照射到被检体内。另外,也可以取代LED而使用LD(Laser Diode:激光二极管)。并且,本发明的“光源部”与至少包含V-LED 20a、G-LED 20c、R-LED 20d的结构对应。
如图3所示,V-LED 20a产生中心波长为405±10nm、波长范围为380~420nm的紫色光V。B-LED 20b产生中心波长为460±10nm、波长范围为420~500nm的蓝色光B。G-LED 20c产生波长范围达到480~600nm的绿色光G。R-LED 20d产生中心波长为620~630nm且波长范围达到600~650nm的红色光R。另外,各色的光的中心波长与峰值波长可以相同,也可以不同。
光源控制部21在通常观察模式和特殊观察模式中的任意的观察模式中,点亮V-LED 20a、B-LED 20b、G-LED 20c、R-LED 20d。因此,对观察对象照射紫色光V、蓝色光B、绿色光G以及红色光R这4色的光混色后的光。并且,在光源控制部21中,紫色光V、蓝色光B、绿色光G、红色光R之间的光量比被设定为在通常观察模式与特殊观察模式中彼此不同。在通常观察模式时,控制各LED 20a~20d使得光量比成为Vc:Bc:Gc:Rc。
在特殊观察模式时,控制各LED 20a~20d使得光量比成为Vs:Bs:Gs:Rs。这里,Vc与Vs、Bc与Bs、Gc与Gs、Rc与Rs彼此不同。并且,在特殊观察模式时,光源控制部21也可以进行使紫色光V和绿色光G的光量比红色光R的光量大的特定光量控制。关于在特殊观察模式时显示在监视器18上的特殊图像的生成,需要像后述那样使用通过基于紫色光V和蓝色光B对观察对象的拍摄而得到的B图像信号与通过基于绿色光G对观察对象的拍摄而得到的G图像信号,但不使用通过基于红色光R对观察对象的拍摄而得到的R图像信号。
因此,通过进行特定光量控制,使给B图像信号带来影响的紫色光V和给G图像信号带来影响的绿色光G的光量大于给R图像信号带来影响的红色光R的光量,而使B图像信号和G图像信号的感光度大于R图像信号的感光度。由此,与未进行特定光量控制的情况相比较,能够对观察对象中的正常部与异常部的色差更大、且血管的视认性进一步提高的特殊图像进行显示。另外,在特定光量控制中,也可以进一步进行使蓝色光B的光量大于红色光R的光量的控制。
如图2所示,光导41内设在内窥镜12和通用线缆(将内窥镜12、光源装置14和处理器装置16连接的线缆)内,其将由光路耦合部23结合后的光传播到内窥镜12的前端部12d。另外,作为光导41可以使用多模光纤。作为一例,可以使用芯径为105μm、包层径为125μm、包含作为外皮的保护层的直径为的细径的光纤线缆。并且,也可以使用将的细径光纤捆扎而成的光纤线缆。
在内窥镜12的前端部12d设置有照明光学系统30a和拍摄光学系统30b。照明光学系统30a具有照明透镜45,经由该照明透镜45对观察对象照射来自光导41的光。拍摄光学系统30b具有物镜46、拍摄传感器48。来自观察对象的反射光经由物镜46入射到拍摄传感器48。由此,在拍摄传感器48上成像出观察对象的反射像。
拍摄传感器48是彩色的拍摄传感器,根据拍摄控制部49所进行的控制来拍摄被检体的反射像而输出图像信号。该拍摄传感器48优选为CCD(Charge Coupled Device:电荷耦合器)拍摄传感器或CMOS(Complementary Metal-Oxide Semiconductor:互补金属氧化物半导体)拍摄传感器等。在本发明中使用的拍摄传感器48是用于得到R(红)、G(绿)以及B(蓝)这3色的RGB图像信号的彩色的拍摄传感器,即是具有设置有R滤波器的R像素(与本发明的“红色像素”对应)、设置有G滤波器的G像素(与本发明的“绿色像素”对应)、设置有B滤波器的B像素(与本发明的“蓝色像素”对应)的所谓的RGB拍摄传感器。
另外,作为拍摄传感器48,也可以取代RGB的彩色的拍摄传感器,而采用具有C(青蓝色)、M(品红色)、Y(黄色)以及G(绿色)的补色滤波器的所谓的补色拍摄传感器。在使用补色拍摄传感器的情况下,由于输出CMYG这4色的图像信号,因此需要通过补色-原色色转换将CMYG这4色的图像信号转换成RGB这3色的图像信号。并且,拍摄传感器48也可以是未设置彩色滤波器的黑白拍摄传感器。在该情况下,光源控制部21需要按照时间分割使蓝色光B、绿色光G、红色光R点亮,在拍摄信号的处理中需要添加同步处理。
从拍摄传感器48输出的图像信号被发送给CDS/AGC电路50。CDS/AGC电路50对作为模拟信号的图像信号进行相关双采样(CDS(Correlated Double Sampling))或自动增益控制(AGC(Auto Gain Control))。经过了CDS/AGC电路50的图像信号被A/D转换器(A/D(Analog/Digital)转换器)52转换成数字图像信号。A/D转换后的数字图像信号被输入处理器装置16。
处理器装置16具有:图像信号输入处理部53、DSP(Digital Signal Processor:数字信号处理器)56、噪声降低部58、图像处理切换部60、通常图像处理部62、特殊图像处理部64以及影像信号生成部66。图像信号输入处理部53对来自内窥镜12的数字的RGB图像信号进行输入处理而输出给DSP 56。R图像信号与从拍摄传感器48的R像素输出的信号对应,G图像信号与从拍摄传感器48的G像素输出的信号对应,B图像信号与从拍摄传感器48的B像素输出的信号对应。
DSP 56对接收到的图像信号实施缺陷校正处理、偏置处理、增益校正处理、线性矩阵处理、伽马转换处理、去马赛克处理等各种信号处理。在缺陷校正处理中,校正拍摄传感器48的缺陷像素的信号。在偏置处理中,从实施了缺陷校正处理的RGB图像信号去除暗电流成分,设定正确的零电平。在增益校正处理中,通过对偏置处理后的RGB图像信号乘以特定的增益而调整信号电平。对增益校正处理后的RGB图像信号实施用于提高色彩再现性的线性矩阵处理。然后,通过伽马转换处理调整明亮度或彩度。对线性矩阵处理后的RGB图像信号实施去马赛克处理(也称为均衡化处理),通过插值而生成在各像素中不足的色的信号。通过该去马赛克处理而使所有像素具有RGB各色的信号。
噪声降低部58通过对利用DSP 56实施了伽马校正等的RGB图像信号实施噪声降低处理(例如移动平均法或中值滤波器法等)而从RGB图像信号降低噪声。降低了噪声的RGB图像信号被发送给图像处理切换部60。
作为图像处理切换部60,在通过模式切换开关13设置成通常观察模式的情况下,将RGB图像信号发送给通常图像处理部62,在设置成特殊观察模式的情况下,将RGB图像信号发送给特殊图像处理部64。
通常图像处理部62对RGB图像信号实施3×3的矩阵处理、灰度转换处理、三维LUT处理、各种色彩强调处理。针对实施了这些处理的RGB图像信号进行空间频率强调等构造强调处理。实施了该构造强调处理的RGB图像信号被输入给影像信号生成部66。
特殊图像处理部64根据RGB的图像信号生成特殊图像,该特殊图像强调观察对象中的正常部与异常部的色差并且提高了血管的视认性。后述对特殊图像处理部64的详细情况进行说明。从特殊图像处理部64输出用于显示特殊图像的红色显示用信号、绿色显示用信号、蓝色显示用信号,向影像信号生成部66输入这3色的显示用信号。
作为影像信号生成部66,在设定成通常观察模式的情况下,将从通常图像处理部62输入的信号转换成能够由监视器18显示通常图像的通常图像用影像信号。监视器18根据该通常图像用影像信号显示通常图像。并且,作为影像信号生成部66,在设定成特殊观察模式的情况下,将从特殊图像处理部64输入的红色显示用信号、绿色显示用信号、蓝色显示用信号转换成能够由监视器18显示特殊图像的特殊图像用影像信号。监视器18根据该特殊图像用影像信号显示特殊图像。
如图4所示,特殊图像处理部64具有逆伽马转换部70、Log转换部71、信号比计算部72、极坐标转换部73、角度调整部74、极径调整部75、直角坐标转换部76、RGB信号转换部77、构造强调部78、逆Log转换部79以及伽马转换部80。并且,特殊图像处理部64在RGB信号转换部77与构造强调部78之间具有明亮度调整部81和色调转换部82。
逆伽马转换部70对所输入的RGB 3信道的数字图像信号实施逆伽马转换。由于该逆伽马转换后的RGB图像信号相对于来自检体的反射率是线性的反射率线性RGB图像信号,因此RGB图像信号中的与检体的各种生物体信息相关联的信号所占的比例变多。另外,将反射率线性R图像信号设为第1R图像信号,将反射率线性G图像信号设为第1G图像信号,将反射率线性B图像信号设为第1B图像信号。
Log转换部71分别对反射率线性RGB图像信号进行Log转换。由此,得到Log转换完成的第1R图像信号(logR)(与本发明的“第1红色信号”对应)、Log转换完成的第1G图像信号(logG)(与本发明的“第1绿色信号”对应)、Log转换完成的第1B图像信号(logB)(与本发明的“第1蓝色信号”对应)。
信号比计算部72(与本发明的“色信息获取部”对应)根据第1G图像信号和第1B图像信号进行差分处理(logG-logB=logG/B=-log(B/G)),由此计算B/G比(将省略了-log(B/G)中的“-log”的部分表示为“B/G比”)。并且,通过根据第1R图像信号和第1G图像信号进行差分处理(logR-logG=logR/G=-log(G/R))而计算G/R比。关于G/R比,与B/G比同样地表示省略了-log(G/R)中的“-log”的部分。另外,在本发明中,“第1信号比”与B/G比对应,“第2信号比”与G/R比对应。
另外,根据在B图像信号、G图像信号、R图像信号中位于相同的位置的像素的像素值而针对每个像素求出B/G比、G/R比。并且,由于B/G比与血管深度(从粘膜表面到特定的血管所在的位置为止的距离)存在相关性,因此当血管深度不同时,B/G比也与其相伴发生变动。并且,由于G/R比与血液量(血红蛋白指标)存在相关性,因此当血液量存在变动时,G/R比也与其相伴发生变动。
极坐标转换部73将由信号比计算部72求出的B/G比、G/R比转换成极径r和角度θ。在该极坐标转换部73中,对所有的像素进行向极径r和角度θ的转换。角度调整部74在由B/G比、G/R比形成的信号比空间中进行角度调整处理,使体腔内的观察对象所示的B/G比、G/R比所分布的多个色范围中的大量包含观察对象上的正常部所示的B/G比、G/R比的第1色范围内的角度不变动,使大量包含观察对象上的病变部所示的B/G比、G/R比的第2色范围、第3色范围、第4色范围、第5色范围内的角度变动。对于该角度调整处理后述进行说明。极径调整部75进行极径调整处理,在信号比空间中,使第1色范围内的极径不变动,使第2色范围、第3色范围、第4色范围、第5色范围内的极径变动。对于该极径调整处理同样后述进行说明。
在直角坐标转换部76中,将经过角度调整部74和极径调整部75而得到的极径r、角度θ转换成直角坐标。由此,转换成完成了角度θ和极径r调整的B/G比、G/R比(与本发明的“第2色信息”对应)。在RGB信号转换部77中,使用第1RGB图像信号中的至少任意1个图像信号而将完成了角度θ和极径r调整的B/G比、G/R比转换成第2RGB图像信号。例如,RGB信号转换部77通过进行基于第1G图像信号以及完成了角度θ和极径r调整的B/G比的运算而将B/G比转换成第2B图像信号(与本发明的“第2蓝色信号”对应)。并且,RGB信号转换部77通过进行基于第1G图像信号以及完成了角度θ和极径r调整的G/R比的运算而将G/R比转换成第2R图像信号(与本发明的“第2红色信号”对应)。并且,RGB信号转换部77对于第1G图像信号不实施特别的转换,而作为第2G图像信号(与本发明的“第2绿色信号”对应)输出。
明亮度调整部81使用第1RGB图像信号和第2RGB图像信号来调整第2RGB图像信号的像素值。利用明亮度调整部81对第2RGB图像信号的像素值进行调整是基于以下的理由。存在利用角度调整部74和极径调整部75实施了变更色区域的处理之后的第2RGB图像信号与第1RGB图像信号相比在明亮度上大幅改变的可能性。因此,通过利用明亮度调整部81调整第2RGB图像信号的像素值而使明亮度调整后的第2RGB图像信号与第1RGB图像信号成为相同的明亮度。
明亮度调整部81具有根据第1RGB图像信号求出第1明亮度信息Yin的第1明亮度信息计算部81a以及根据第2RGB图像信号求出第2明亮度信息Yout的第2明亮度信息计算部81b。第1明亮度信息计算部81a根据“kr×第1R图像信号的像素值+kg×第1G图像信号的像素值+kb×第1B图像信号的像素值”的运算式来计算第1明亮度信息Yin。在第2明亮度信息计算部81b中,也与第1明亮度信息计算部81a同样,根据与上述相同的运算式来计算第2明亮度信息Yout。当求出第1明亮度信息Yin和第2明亮度信息Yout时,明亮度调整部81通过进行基于以下的式(E1)~(E3)的运算而调整第2RGB图像信号的像素值。
(E1):R=第2R图像信号的像素值×Yin/Yout
(E2):G=第2G图像信号的像素值×Yin/Yout
(E3):B=第2B图像信号的像素值×Yin/Yout
另外,“R”表示明亮度调整后的第2R图像信号,“G”表示明亮度调整后的第2G图像信号,“B”表示明亮度调整后的第2B图像信号。并且,“kr”、“kg”、“kb”是处于“0”~“1”的范围的任意的常数。
色调转换部82(与本发明的“伪彩色显示处理部”对应)根据基于下述式1的矩阵运算(M1)(与本发明的“第1色调转换处理”对应)而进行将第2R图像信号、第2G图像信号、第2B图像信号转换成红色显示用信号、绿色显示用信号、蓝色显示用信号的色调转换处理。
【式1】
(M1):
这里,在式1中,“Rd”表示红色显示用信号,“Gd”表示绿色显示用信号,“Bd”表示蓝色显示用信号。并且,“k1”、“k2”、“k3”是处于“0”~“1”的范围的任意的常数。红色显示用信号(Rd)是与监视器18的R信道对应的信号,像上述矩阵运算M1所示那样,是对第2G图像信号乘以系数k1而得到的。并且,绿色显示用信号(Gd)是与监视器18的G信道对应的信号,是对第2B图像信号乘以系数k2而得到的。蓝色显示用信号(Bd)是与监视器18的B信道对应的信号,是对第2B图像信号乘以系数k3而得到的。即,红色显示用信号、绿色显示用信号、蓝色显示用信号是不使用第2R图像信号而仅使用第2B图像信号和第2G图像信号而得到的。
在根据由以上的红色显示用信号、绿色显示用信号、蓝色显示用信号构成的3色的显示用信号而在监视器18中显示特殊图像的情况下,特殊图像显示伪彩色,以按照深度而不同的色显示特殊图像上的血管(例如,以茶色调显示表层血管,以蓝色调显示中深层血管)。此外,通过对特殊图像进行伪彩色显示,第1色范围、第2色范围、第3色范围、第4色范围、第5色范围的色的差异也变得明确。
在构造强调部78中,对红色显示用信号、绿色显示用信号、蓝色显示用信号实施构造强调处理。作为构造强调处理使用频率滤波等方式。逆Log转换部79对经过构造强调部78得到的红色显示用信号、绿色显示用信号、蓝色显示用信号实施逆Log转换。由此,得到具有真数的像素值的红色显示用信号、绿色显示用信号、蓝色显示用信号。伽马转换部80对经过逆Log转换部79得到的红色显示用信号、绿色显示用信号、蓝色显示用信号实施伽马转换。由此,得到具有适合监视器18等输出设备的灰度的红色显示用信号、绿色显示用信号、蓝色显示用信号。经过伽马转换部80得到的红色显示用信号、绿色显示用信号、蓝色显示用信号被发送给影像信号生成部66。
以下说明由角度调整部74进行的对角度θ进行调整的处理。如图5所示,在由B/G比、G/R比形成的表示特征空间的信号比空间中,第1色范围、第2色范围、第3色范围、第4色范围、第5色范围分别分布在第1象限中。在第1色范围中,大量包含表示正常粘膜(图5中由“○”表示)的B/G比、G/R比,该第1色范围位于信号比空间的第1象限d大致中央。并且,在第2色范围中,大量包含表示萎缩粘膜(在图5中由“×”表示)的B/G比、G/R比,该第2色范围位于第1色范围的斜左下。在第3色范围中,大量包含表示深层血管(在图5中由“□”表示)的B/G比、G/R比,该第3色范围位于第1色范围的右斜下。在第4色范围中,大量包含表示BA(Brownish Area:棕褐色区域)(在图5中由“◇”表示)的B/G比、G/R比,该第4色范围位于第1色范围的右斜上。在第5色范围中,大量包含表示发红(在图5中由“△”表示)的B/G比、G/R比,该第5色范围位于第1色范围的右侧。
在角度调整部74中,为了调整角度θ,如图6所示,在信号比空间中,设定第1基准线L1以使其与第1色范围的重心位置CP相交。这里,通过规定的运算根据第1色范围内的B/G比、G/R比来计算第1色范围的重心位置CP(例如,平均值)。另外,第1基准线L1只要经过第1色范围即可,不需要必须经过第1色范围的重心位置CP。
在角度调整部74中,进行根据角度变化率W1x使包含第1基准线L1在内的一定范围R1x内的角度θ等倍的信号比空间用的角度等倍处理。以第1色范围进入其中的方式设定范围R1x。这里,角度θ被定义为相对于第1基准线L1所呈的角度。对于角度θ,将相对于第1基准线L1顺时针方向定义为正的角度,而将逆时针方向定义为负的角度。范围R1x由角度θ比“0”小的“-θ1”到比“0”大的“+θ2”的范围构成。
并且,对于处于范围R1x的范围外的范围R1y内的角度θ,角度调整部74进行以比角度变化率W1x大或者小的角度变化率W1y使其变化的角度调整处理。以第3色范围和第5色范围进入其中的方式设定范围R1y。这里,范围R1y由从比“-θ1”小的“-θ3”到“-θ1”的角度负范围以及从“+θ2”到比“+θ2”大的“+θ4”的角度正范围构成。
如图7所示,在进行信号比空间用的角度等倍处理的范围R1x内,通过将角度变化率W1x设定为1.0倍而使角度θ在处理的前后不发生变化。另一方面,在进行角度调整处理的范围R1y内,通过设定为比1.0倍大或者小的角度变化率W1y而借助角度调整处理使角度θ发生变化。并且,在范围R1y中的角度正范围中,作为角度变化率W1y,被设定为在角度θ为“+θ2”的情况下比1.0倍大、且为最大,且设定为角度θ越大则角度变化率W1y越小。并且,在超过规定的角度θ时,角度变化率W1y被设定为比1.0倍小。
另一方面,在范围R1y中的角度负范围中,作为角度变化率W1y,被设定为在角度θ为“-θ1”的情况下比1.0倍大、且为最大,且设定为角度θ越小则角度变化率W1y越小。并且,在低于规定的角度θ时,角度变化率W1y被设定为比1.0倍小。另外,在角度θ比“θ4”大的情况下或者角度θ比“-θ3”小的情况下,角度变化率被设定为1.0倍。
通过进行如上这样的信号比空间用的角度等倍处理和角度调整处理,而如图8所示,范围R1x内的角度θ被变更为等倍的角度Eθ(Eθ=θ)。并且,在角度θ比“θ4”大的情况下或者角度θ比“-θ3”小的情况下,角度θ也被变更为等倍的角度Eθ(Eθ=θ)。与此相对,范围R1y中的角度正范围的角度θ被变更为比角度θ大的正的角度Eθ(Eθ≥θ)。另一方面,范围R1y中的角度负范围的角度θ被变更为比角度θ小的负的角度Eθ(Eθ≤θ)。
通过进行这样的角度变更而得到如下这样的作用和效果。如图9的(A)所示,在信号比空间用的角度等倍处理和角度调整处理之前,第1色范围、第3色范围以及第5色范围彼此接近,但在信号比空间用的角度等倍处理和角度调整处理之后,如图9的(B)所示,在第1色范围维持在信号比空间上的位置的状态下,以第1基准线L1为界,第3色范围和第5色范围的坐标在顺时针方向A1上移动。由此,第1色范围、第3色范围与第5色范围的色相的差变大。
这样,在对于第1色范围、第3色范围以及第5色范围增大各个范围的色相的差而得到的特殊图像中,能够明确地显示正常粘膜与包含深层血管的部位的色的差异以及正常粘膜与包含发红的部位的色的差异。另外,在图9中,“1”表示第1色范围,“3”表示第3色范围,“5”表示第5色范围。并且,在图9的(B)中,由实线表示的范围表示信号比空间用的角度等倍处理和角度调整处理之后的范围,由虚线表示的范围表示角度等倍处理和角度调整处理之前的范围(图13的(B)也相同)。
以下说明由极径调整部75进行的调整极径r的处理。在极径调整部75中,为了调整极径r,而如图10所示,在信号比空间中,设定为第1基准线L1与第1色范围的重心位置CP相交,并且设定为第2基准线L2与第1色范围的重心位置CP相交且与第1基准线L1交叉。另外,第2基准线L2只要经过第1色范围即可,不需要必须经过第1色范围的重心位置CP。
在极径调整部75中,进行根据极径变化率W2x使包含第2基准线L2在内的一定的范围R2x内的极径r等倍的信号比空间用的极径等倍处理。以第1色范围进入其中的方式设定范围R2x。范围R2x由极径r从比作为与第2基准线L2对应的极径的“rc”小的“r1”直到比“rc”大的“r2”的范围构成。并且,在极径调整部75中,对于作为范围R2x的范围之外的范围R2y内的极径r,进行使其以比极径变化率W2x大或者小的极径变化率W2y变化的极径调整处理。范围R2y由从比“r1”小的“r3”直到“r1”的小极径范围和从“r2”到比“r2”大的“r4”的大极径范围构成。
如图11所示,在进行信号比空间用的极径等倍处理的范围R2x内,通过将极径变化率W2x设定为1.0倍而使极径r在处理的前后不发生变化。另一方面,在进行极径调整处理的范围R2y内,通过设定为比1.0倍大或者小的极径变化率W2y而借助极径调整处理使极径r发生变化。并且,在范围R2y中的小极径范围中,作为极径变化率W2y,设定为在极径r为“r1”的情况下比1.0倍大、且为最大,且设定为极径r越小则极径变化率W2y越小。并且,设定为在低于规定的极径r时,极径变化率W2y比1.0倍小。
另一方面,在范围R2y中的大极径范围中,作为极径变化率W2y,设定为在极径r为“r2”的情况下,比1.0倍大、且为最大,且设定为极径r越大则极径变化率W2y越小。并且,在超过规定的极径r时,设定为极径变化率W2y比1.0倍小。另外,在极径r比“r4”大的情况下、或者极径r比“r3”小的情况下,将极径变化率设定为1.0倍。
通过进行如上这样的信号比空间用的极径等倍处理和极径调整处理,而如图12所示,对于范围R2x内的极径r,变更为等倍的极径Er(Er=r)。并且,在极径r比“r4”大的情况下、或者在极径r比“r3”小的情况下,将极径r变更为等倍的极径Er(Er=r)。与此相对,对于范围R2y中的小极径范围的极径r,变更为比极径r小的极径Er(Er≤r)。另一方面,对于范围R2y中的大极径范围的极径r,变更为比极径r大的极径Er(Er≥r)。
通过进行这样的极径变更而得到如下这样的作用和效果。如图13的(A)所示,在信号比空间用的极径等倍处理和极径调整处理之前,第1色范围、第2色范围以及第4色范围各自接近。与此相对,在信号比空间用的极径等倍处理和极径调整处理之后,如图13的(B)所示,在维持第1色范围在信号比空间上的位置的状态下,第4色范围的坐标的大部分向远离原点“0”的方向A2移动。另一方面,第2色范围的坐标的大部分向接近原点“0”的方向A3移动。由此,对于第1色范围、第2色范围以及第4色范围而言,各个范围的彩度的差变大。
由于这样对于第1色范围、第2色范围以及第4色范围,彩度的差变大,因此在特殊图像上明确地显示出正常粘膜与萎缩粘膜的色上的差异以及正常粘膜与存在发红的部位的色的差异。另外,在图13中,“1”表示第1色范围,“2”表示第2色范围,“4”表示第4色范围。
接着,关于使用特殊观察模式进行对观察对象的观察的一系列的流程,沿着图14的流程图进行说明。首先,设置为通常观察模式,在检体内插入内窥镜12的插入部12a。在插入部12a的前端部12d到达胃之后,对模式切换开关13进行操作,而从通常观察模式切换到特殊观察模式。
当切换到特殊观察模式时,光源控制部21进行使紫色光V和绿色光G的光量比红色光R的光量大的特定光量控制。在该特定光量控制的基础上,通过对观察对象照明紫色光V、蓝色光B、绿色光G、红色光R而进行拍摄,从而获取第1RGB图像信号。根据该获取的第1RGB图像信号,通过信号比计算部72计算B/G比、G/R比。接着,通过极坐标转换将该计算出的B/G比、G/R比转换成极径r、角度θ。
接着,角度调整部74进行角度等倍处理和角度调整处理,该角度等倍处理使包含经过第1色范围的重心位置CP的第1基准线L1在内的一定的范围R1x内的角度等倍,该角度调整处理对超过范围R1x的范围R1y的角度进行调整。通过这些角度等倍处理和角度调整处理,以在信号比空间上维持第1色范围的位置的状态使第3色范围和第5色范围向顺时针方向A1旋转移动(参照图9)。由此,关于第1色范围、第3色范围、第5色范围,各个范围的色相差变大。
当角度调整结束时,接着,极径调整部75进行一定的范围R2x的极径等倍处理和极径调整处理,该一定的范围R2x包含经过第1色范围的重心位置CP且与第1基准线L1交叉的第2基准线L2,极径调整处理对超过范围R2x的范围R2y的极径进行调整。通过这些极径等倍处理和极径调整处理,在维持着在信号比空间上的第1色范围的位置的状态下,第4色范围向远离原点“0”的方向A2移动,第2色范围向接近原点“0”的方向A3移动(参照图13)。
接着,RGB信号转换部77将进行了角度调整和极径调整后的B/G比、G/R比转换成第2RGB图像信号。从第2G图像信号转换成红色显示用信号,从第2B图像信号转换成绿色显示用信号,从第2B图像信号转换成蓝色显示用信号。根据这3色的显示用信号来显示特殊图像。在该特殊图像中,由于通过信号比空间上的角度调整和极径调整而使第1色范围与其他的第2色范围、第3色范围、第4色范围、第5色范围的色的差异变得明确,并且对特殊图像进行伪彩色显示,因此对深度不同的血管的视认性也提高。
并且,由于进行使紫色光V和绿色光G的光量比红色光R的光量大的特定光量控制,因此第2B图像信号和第2G图像信号的感光度比第2R图像信号的感光度高。由此,在特殊图像中,与未进行特定光量控制的情况相比较,第1色范围与其他的第2色范围等的色的差异变得更明确,并且血管的视认性也进一步提高。
另外,向用于特殊图像的显示的3色的显示用信号的转换仅使用完成了角度调整和极径调整的第2RGB图像信号中的第2G图像信号和第2B图像信号,不使用第2R图像信号。因此,作为角度调整和极径调整,实际上在信号比空间中使第2色范围、第3色范围、第5色范围仅向纵轴(B/G比)的负方向移动,而不在横轴(G/R比)方向上移动。并且,关于第4色范围,仅向纵轴的正方向移动,而不在横轴方向上移动(参照图15)。
另外,在上述第1A实施方式中,像矩阵运算(M1)所示那样,不使用第2R图像信号,仅使用第2B图像信号和第2G图像信号转换成3色的显示用信号,但也可以不仅使用第2B图像信号和第2G图像信号还使用第2R图像信号来转换成3色的显示用信号。在该情况下,根据下述式2所示的矩阵运算(M2)(与本发明的“第2色调转换处理”对应)从第2RGB图像信号转换成红色显示用信号、绿色显示用信号、蓝色显示用信号。
【式2】
(M2):
这里,在式2中,关于“R”、“G”、“B”、“Rd”、“Gd”、“Bd”、“k1”、“k2”、“k3”,与式1相同。并且,“p1”、“p2”、“p3”是处于“0”~“1”的范围的任意的常数,并且,满足“p1=p2=p3”或者“p1≒p2≒p3”。并且,“p1”、“p2”、“p3”相对于“k1”、“k2”、“k3”设定为极其小。
像上述矩阵运算M2所示那样,通过对第2R图像信号乘以系数p1、对第2G图像信号乘以相比系数p1极其大的系数k1的第1加权运算而得到红色显示用信号(Rd)。并且,通过对第2R图像信号乘以系数p2、对第2B图像信号乘以相比系数p2极其大的系数k2的第2加权运算而得到绿色显示用信号。并且,通过对第2R图像信号乘以系数p3、对第2B图像信号乘以相比系数p3极其大的系数k3的第3加权运算而得到蓝色显示用信号。另外,优选系数k1比系数p1的10倍大,优选系数k2比系数p2的10倍大,优选系数k3比系数p3的10倍大。
作为基于通过以上的矩阵运算M2得到的红色显示用信号、绿色显示用信号、蓝色显示用信号的特殊图像,强调了第1色范围与其他的第2色范围等的色差、并且进行伪彩色显示,除此之外,由于第2R图像信号的信号值虽然微小但也被添加,能够显示仅具有与第2B图像信号和第2G图像信号不同的第2R图像信号的信息。例如,由于第2R图像信号大量包含在观察对象处的反射率较高的红色光V的成分,因此第2R图像信号中大量包含与肥厚等观察对象的凹凸信息相关的信息。并且,针对第2R图像信号的加权的系数p1、p2、p3相比于针对第2G图像信号的加权的系数k1和针对第2B图像信号的加权的系数k2、k3极其小、且这3个系数全部相等或者大致相同。因此,根据矩阵运算M2得到的特殊图像即使与根据矩阵运算M1得到的特殊图像相比较,伪彩色的色调也几乎不变。
并且,在上述第1A实施方式中,进行使紫色光V和绿色光G的光量比红色光R的光量大的特定光量控制,而使B图像信号和G图像信号的感光度比R图像信号的感光度高,但也可以取而代之或者在此基础上,通过拍摄控制部49进行使B像素和G像素比R像素的感光度高的特定拍摄控制。另外,也可以通过特定光量控制而取代紫色光V或者在此基础上使蓝色光B的光量比红色光R的光量大。
作为特定拍摄控制,例如如图16所示那样,在作为表示为了生成特殊图像的1帧的量的图像所需要的期间的1帧的期间中,使B像素的电荷蓄积时间Tb和G像素的电荷蓄积时间Tg比R像素的电荷蓄积时间Tr长,从而能够使B像素和G像素比R像素的感光度高。为了进行这样在B像素、G像素以及R像素中分别使电荷蓄积时间不同的控制,而需要使拍摄传感器48中的B像素、G像素、R像素分别独立地进行图像信号的读出控制。另外,在图16中,使B像素的电荷蓄积时间Tb比G像素的电荷蓄积时间Tg长,但可以使B像素的电荷蓄积时间Tb比G像素的电荷蓄积时间Tg短,并且也可以使B像素的电荷蓄积时间Tb与G像素的电荷蓄积时间Tg相等。
[第1B实施方式]
在上述第1A实施方式中,信号比计算部72根据第1RGB图像信号求出B/G比、G/R比,并在根据这些B/G比、G/R比形成的特征空间中进行角度等倍处理、角度调整处理、极径等倍处理以及极径调整处理,但在第1B实施方式中,作为色信息求出色差信号Cr、Cb,并在由色差信号Cr、Cb形成的特征空间中进行角度等倍处理、角度调整处理、极径等倍处理以及极径调整处理。
在第1B实施方式中,使用图17所示的特殊图像处理部92。特殊图像处理部92与特殊图像处理部64不同,不具有Log转换部71、信号比计算部72、逆Log转换部79。取而代之,特殊图像处理部92在逆伽马转换部70与极坐标转换部73之前具有亮度·色差信号转换部85。关于除此之外的结构,特殊图像处理部92与特殊图像处理部64相同。
亮度·色差信号转换部85(与本发明的“色信息获取部”对应)将第1RGB图像信号转换成亮度信号Y和色差信号Cr、Cb。向色差信号Cr、Cb的转换使用公知的转换式。色差信号Cr、Cb被发送给极坐标转换部73。亮度信号Y被发送给RGB信号转换部77和明亮度调整部81。在RGB信号转换部77中,将经过直角坐标转换部76得到的色差信号Cr、Cb和亮度信号Y转换成第2RGB图像信号。在明亮度调整部81中,作为第1明亮度信息Yin使用亮度信号Y,并且作为第2明亮度信息Yout使用由第2明亮度信息计算部81b求出的第2明亮度信息,进行第2RGB图像信号的像素值的调整。另外,关于第2明亮度信息Yout的计算方法和第2RGB图像信号的像素值的调整方法,与上述特殊图像处理部64的情况相同。
在特殊图像处理部92中,在由纵轴为色差信号Cr、横轴为色差信号Cb而形成的特征空间(CbCr空间)上进行CbCr空间用的角度等倍处理、角度调整处理、极径等倍处理以及极径调整处理。在CbCr空间上,如图18所示,第1色范围、第2色范围、第3色范围、第4色范围、第5色范围都分布在CbCr空间的第2象限,第1色范围分布在第2象限的大致中央,第2色范围分布在第1色范围的右斜下的位置,第3色范围分布在第1色范围的下方,第4色范围分布在第1色范围的对角地左上的位置,第5色范围分布在第1色范围的左侧。
CbCr空间用的角度等倍处理和角度调整处理由角度调整部74进行,与信号比空间用的角度等倍处理和角度调整处理大致相同。因此,使包含经过第1色范围的第1基准线L1在内的一定的范围R1x内的角度等倍,并且对超过范围R1x的范围R1y的角度进行调整。由此,如图19所示,在CbCr空间中,在维持着第1色范围的位置的状态下,第3色范围和第5色范围向逆时针方向A4移动。由此,关于第1色范围、第3色范围、第5色范围,色相的差分别变大。另外,在图19中,虚线的范围表示CbCr空间用的角度调整处理之前的范围,实线的范围表示CbCr空间用的角度调整处理之后的范围。该“实线的范围”、“虚线的范围”的表述在下述图20中也相同。
CbCr空间用的极径等倍处理和极径调整处理由极径调整部75进行,信号比空间用的极径等倍处理和极径调整处理大致相同。因此,使包含经过第1色范围且与第1基准线L1交叉的第2基准线L2在内的一定的范围R1x内的极径等倍,并且对超过范围R1x的范围R1y的极径进行调整。由此,如图20所示,在CbCr空间中,在维持着第1色范围的位置的状态下,第4色范围向远离原点“0”的方向A2移动,并且第2色范围向接近原点“0”的方向A3移动。由此,关于第1色范围、第2色范围、第4色范围,彩度的差分别变大。
[第1C实施方式]
在第1C实施方式中,利用Lab转换部(与本发明的“色信息获取部”对应)对第1RGB图像信号进行Lab转换而获取a、b(表示作为色信息的CIE Lab空间的色泽的要素a、b。以下相同),在由这些a、b形成的特征空间(ab空间)中,进行角度等倍处理、角度调整处理、极径等倍处理、极径调整处理。另外,CIE Lab是指CIE(国际照明委员会)所确定的色系。并且,第1C实施方式的特殊图像处理部除了取代第1A实施方式的特殊图像处理部64中的信号比计算部72而设置有Lab转换部以外,与特殊图像处理部64大致相同。
在第1C实施方式中,如图21的(A)所示,第1色范围、第3色范围、第5色范围与信号比空间的情况相同,分布在ab空间的第1象限。并且,通过进行ab空间用的角度等倍处理和角度调整处理,而如图21的(B)所示,在第1色范围维持着ab空间上的位置的状态下,第3色范围和第5色范围从第1基准线L1向顺时针方向A1移动。另外,在图21的(B)中,虚线的范围表示ab空间用的角度调整处理之前的范围,实线的范围表示ab空间用的角度调整处理之后的范围。该“实线的范围”、“虚线的范围”的表述在下述图22的(B)中也相同。
并且,如图22的(A)所示,第1色范围、第2色范围、第4色范围与信号比空间的情况相同,分布在ab空间的第1象限。并且,通过进行ab空间用的极径等倍处理和极径调整处理,而如图22的(B)所示,在第1色范围维持在ab空间上的位置的状态下,以第2基准线L2为界,第4色范围向远离原点“0”的方向A2移动,而第2色范围向接近原点“0”的方向A3移动。另外,对于在ab空间用的极径等倍处理和极径调整处理之后得到的第2RGB图像信号,优选利用明亮度调整部81进行像素值的调整。
[第1D实施方式]
在第1D实施方式中,作为色信息求出色相和彩度,在由色相和彩度形成的特征空间中进行角度等倍处理、角度调整处理、极径等倍处理以及极径调整处理。在该第1D实施方式中,使用图23所示的特殊图像处理部96。特殊图像处理部96与特殊图像处理部64不同,不具有逆伽马转换部70、Log转换部71、信号比计算部72、极坐标转换部73、角度调整部74、极径调整部75、逆Log转换部79以及伽马转换部80。取而代之,特殊图像处理部96具有HSV转换部87、第1平行移动部90以及第2平行移动部91。除此之外,特殊图像处理部96与特殊图像处理部64相同。
HSV转换部87(与本发明的“色信息获取部”对应)将第1RGB图像信号转换成色相H、彩度S、明度V(Value)。向色相H、彩度S、明度V的转换使用公知的转换式。色相H、彩度S被发送给第1平行移动部90和第2平行移动部91,明度V被发送给RGB信号转换部77。后述说明第1平行移动部90和第2平行移动部91的详细情况。
在RGB信号转换部77中,将经过第2平行移动部91得到的色相H、彩度S和来自HSV转换部87的明度V转换成第2RGB图像信号。在明亮度调整部81中,使用由第1明亮度信息计算部81a求出的第1明亮度信息Yin和由第2明亮度信息计算部81b求出的第2明亮度信息Yout来进行第2RGB图像信号的像素值的调整。另外,关于第1明亮度信息Yin、第2明亮度信息Yout的计算方法以及第2RGB图像信号的像素值的调整方法,与上述特殊图像处理部64的情况相同。
接着,关于第1平行移动部90和第2平行移动部91的处理,使用作为由H(色相)和S(彩度)形成的特征空间的HS空间进行说明。这里,在HS空间中,如图24所示,第1色范围分布在大致中央,第2色范围分布在第1色范围的左侧,第3色范围分布在第1色范围的左斜下。并且,第4色范围分布在第1色范围的右侧,第5色范围分布在第1色范围的右斜下。
如图25所示,第1平行移动部90使色相H为规定值H1以下的范围向下方平行移动规定的量。规定值H1被设定为第1色范围中的低于色相H的下限值的值。通过第1平行移动部90所进行的平行移动的处理,而在HS空间中,在第1色范围维持位置的状态下,第3色范围和第5色范围向下方平行移动。由此,第1色范围与第3色范围的色相差以及第1色范围与第5色范围的色相差变大。另外,在图25中,虚线的范围表示第1平行移动部90的平行移动的处理之前的范围,实线的范围表示第1平行移动部90的平行移动的处理之后的范围。该“实线的范围”、“虚线的范围”的表述在下述图26中也相同。
如图26所示,第2平行移动部91使彩度S为规定值S1以下的范围向左平行移动规定的量,并且使彩度S为规定值S2以上的范围向右平行移动规定的量。规定值S1被设定为第1色范围中的低于彩度S的下限值的值,规定值S2被设定为第1色范围中的超过彩度S的上限值的值。通过第2平行移动部91所进行的平行移动的处理,而在HS空间中,在第1色范围维持位置的状态下,第2色范围向左平行移动,而第4色范围向右平行移动。由此,第1色范围与第2色范围的彩度差以及第1色范围与第4色范围的彩度差变大。
[第2实施方式]
在第2实施方式中,取代第1实施方式中示出的4色的LED 20a~20d,使用激光源和荧光体来进行对观察对象的照明。除此之外,与第1实施方式相同。
如图27所示,在第2实施方式的内窥镜系统100中,在光源装置14中,取代4色的LED20a~20d,而设置有发出中心波长为445±10nm的蓝色激光的蓝色激光源(在图27中表述为“445LD”)104和发出中心波长为405±10nm的蓝紫色激光的蓝紫色激光源(在图27中表述为“405LD”)106。来自这些各光源104、106的半导体发光元件的发光被光源控制部108单独地控制,蓝色激光源104的射出光与蓝紫色激光源106的射出光的光量比能够自由变更。
光源控制部108在通常观察模式的情况下驱动蓝色激光源104。与此相对,在特殊观察模式的情况下,以驱动蓝色激光源104和蓝紫色激光源106这双方并使蓝色激光的发光比率变得比蓝紫色激光的发光比率大的方式进行控制。从以上的各光源104、106射出的激光经由聚光透镜、光纤、合波器等光学部件(都未图示)而入射到光导(LG)41。
另外,优选使蓝色激光或者蓝紫色激光的半值宽度为±10nm左右。并且,蓝色激光源104和蓝紫色激光源106可以使用宽面型(Broad-area type)的InGaN系激光二极管,并且也可以使用InGaNAs系激光二极管或GaNAs系激光二极管。并且,作为上述光源也可以采用使用发光二极管等发光体的结构。
在照明光学系统30a中除了照明透镜45之外还设置有供来自光导41的蓝色激光或者蓝紫色激光入射的荧光体110。通过对荧光体110照射蓝色激光而从荧光体110发出荧光。并且,一部分的蓝色激光保持原状地透射荧光体110。蓝紫色激光以不激励荧光体110的方式透射。在荧光体110中射出的光经由照明透镜45照射到检体内。
这里,在通常观察模式中,由于主要对荧光体110入射蓝色激光,因此对观察对象照射如图28所示的、将蓝色激光以及被蓝色激光从荧光体110激励发光的荧光合波而得到的白色光。另一方面,在特殊观察模式中,由于蓝紫色激光和蓝色激光这双方入射到荧光体110,因此对检体内照射如图29所示的、将蓝紫色激光、蓝色激光以及被蓝色激光从荧光体110激励发光的荧光合波而得到的特殊光。
另外,荧光体110优选使用包含多种荧光体(例如YAG系荧光体、或者BAM(BaMgAl10O17)等荧光体)而构成的物质,该荧光体吸收蓝色激光的一部分而激励发光成绿色~黄色。只要像本结构例那样,将半导体发光元件用作荧光体110的激励光源,则能够以较高的发光效率得到高强度的白色光,能够容易地调整白色光的强度,而且能够将白色光的色温度、色度的变化抑制得小。
[第3实施方式]
在第3实施方式中,取代在第1实施方式中示出的4色的LED 20a~20d,而使用氙灯等宽带光源和旋转滤波器进行对观察对象的照明。并且,取代彩色的拍摄传感器48而利用黑白的拍摄传感器进行对观察对象的拍摄。除此之外,与第1实施方式相同。
如图30所示,在第3实施方式的内窥镜系统200中,在光源装置14中,取代4色的LED20a~20d而设置有宽带光源202、旋转滤波器204、滤波器切换部205。并且,在拍摄光学系统30b中,取代彩色的拍摄传感器48而设置有未设置彩色滤波器的黑白的拍摄传感器206。
宽带光源202是氙灯、白色LED等,发出波长范围从蓝色到红色的白色光。旋转滤波器204具有设置于内侧的通常观察模式用滤波器208和设置于外侧的特殊观察模式用滤波器209(参照图31)。滤波器切换部205使旋转滤波器204在径向上移动,在通过模式切换开关13设置为通常观察模式时,将旋转滤波器204的通常观察模式用滤波器208插入白色光的光路,在设置为特殊观察模式时,将旋转滤波器204的特殊观察模式用滤波器209插入白色光的光路。
如图31所示,在通常观察模式用滤波器208中沿着周向设置有使白色光中的蓝色光透射的B滤波器208a、使白色光中的绿色光透射的G滤波器208b、使白色光中的红色光透射的R滤波器208c。因此,在通常观察模式时,旋转滤波器204旋转,从而对观察对象交替地照射蓝色光、绿色光、红色光。
在特殊观察模式用滤波器209中,沿着周向设置有使白色光中的特定波长的蓝色窄频带光透射的Bn滤波器209a、使白色光中的绿色光透射的G滤波器209b以及使白色光中的红色光透射的R滤波器209c。因此,在特殊观察模式时,旋转滤波器204旋转,从而对观察对象交替地照射蓝色窄频带光、绿色光、红色光。
在内窥镜系统200中,在通常观察模式时,每次蓝色光、绿色光、红色光照射到观察对象,都利用黑白的拍摄传感器206对检体内进行拍摄。由此,得到RGB这3色的图像信号。并且,根据这些RGB的图像信号,利用与上述第1实施方式相同的方法生成通常图像。
另一方面,在特殊观察模式时,每次蓝色窄频带光、绿色光、红色光照射到观察对象,都利用黑白的拍摄传感器206对检体内进行拍摄。由此,得到Bn图像信号、G图像信号、R图像信号。根据这些Bn图像信号、G图像信号、R图像信号而进行特殊图像的生成。取代B图像信号,特殊图像的生成使用Bn图像信号。除此之外,利用与第1实施方式相同的方法进行特殊图像的生成。
[第4实施方式]
在第4实施方式中,取代插入型的内窥镜12和光源装置1,使用吞服式的胶囊内窥镜而获取通常图像或者特殊图像的生成所需要的RGB图像信号。
如图32所示,第4实施方式的胶囊内窥镜系统300具有胶囊内窥镜302、发射接收天线304、胶囊用接收装置306、处理器装置16以及监视器18。胶囊内窥镜302具有LED 302a、拍摄传感器302b、图像处理部302c、发射天线302d。另外,处理器装置16与第1实施方式相同,但在第4实施方式中,新设置有用于切换到通常观察模式或者特殊观察模式的模式切换开关308。
LED 302a发出白色光,在胶囊内窥镜302内设置有多个LED 302a。这里,作为LED302a优选使用具有蓝色光源和荧光体的白色LED等,该荧光体对来自该蓝色光源的光进行波长转换而发出荧光。也可以取代LED而使用LD(Laser Diode:激光二极管)。从LED 302a发出的白色光对观察对象进行照明。
拍摄传感器302b是彩色的拍摄传感器,对由白色光照明的观察对象进行拍摄,而输出RGB的图像信号。这里,作为拍摄传感器302b优选使用CCD(Charge Coupled Device:电荷耦合器件)拍摄传感器或CMOS(Complementary Metal-Oxide Semiconductor:互补型金属氧化物)拍摄传感器。借助图像处理部302c对从拍摄传感器302b输出的RGB图像信号实施用于使其成为能够利用发射天线302d进行发送的信号的处理。经过图像处理部302c得到的RGB图像信号从发射天线302d以无线方式发送给发射接收天线304。
发射接收天线304粘贴于受检者的身体,接收来自发射天线302d的RGB图像信号。发射接收天线304将接收到的RGB图像信号无线发送给胶囊用接收装置306。胶囊用接收装置306与处理器装置16的图像信号输入处理部53连接,将来自发射接收天线304的RGB图像信号发送给图像信号输入处理部53。
另外,在上述实施方式中,使用具有图3所示的发光光谱的4色的光,但发光光谱不限于此。例如,也可以是如图33所示、绿色光G和红色光R具有与图3相同的光谱,而紫色光Vp是中心波长为410~420nm、且与图3的紫色光V相比在稍微长波长侧具有波长范围的光。并且,作为蓝色光Bp,也可以是中心波长为445~460nm且与图3的蓝色光B相比在稍微短波长侧具有波长范围的光。
另外,在上述第1A实施方式中,利用极坐标转换将B/G比、G/R比转换成极径r、角度θ,根据转换后的极径r、角度θ进行角度等倍处理、角度调整处理、极径等倍处理以及极径调整处理,然后再次使其返回到B/G比、G/R比,但也可以如图34所示,使用二维LUT 400,不根据B/G比、G/R比进行极坐标转换等,而直接转换成完成了角度等倍处理、角度调整处理、极径等倍处理以及极径调整处理的B/G比、G/R比。
这里,在二维LUT 400中对应地存储有B/G比、G/R比以及进行了基于该B/G比、G/R比的角度等倍处理、角度调整处理、极径等倍处理和极径调整处理而得到的完成了角度等倍处理、角度调整处理、极径等倍处理和极径调整处理的B/G比、G/R比。并且,从逆伽马转换部70输出的第1RGB图像信号输入至二维LUT 400和RGB信号转换部77。
另外,关于在第1B实施方式中示出的色差信号Cr、Cb、在第1C实施方式中示出的Lab的色泽的要素a、b、或者在第1D实施方式中示出的H(色相)、S(彩度),也可以与上述同样使用二维LUT,不进行极坐标转换等,而是转换成完成了角度等倍处理、角度调整处理、极径等倍处理以及极径调整处理的色差信号等。
另外,在上述实施方式中,在进行了角度等倍处理和角度调整处理之后,进行极径等倍处理和极径调整处理,但也可以与其相反,首先,进行极径等倍处理和极径调整处理,然后进行角度等倍处理和角度调整处理。
另外,本发明除了应用于与第1~第3实施方式这样的内窥镜系统或第4实施方式这样的胶囊内窥镜系统进行组合的处理器装置以外,还可以应用于各种医用图像处理装置。
另外,本发明的处理器装置16中的与图像处理相关的各部分以及与内窥镜12的拍摄控制相关的各部分由一个或者多个CPU(Central Processing Unit:中央处理器)构成,在该CPU中,通过对保存在分别设置在处理器装置16和内窥镜12内的未图示的存储器中的程序进行加载而进行动作。
本发明可以在不脱离发明的主旨的范围中进行各种变形·变更,这样的情况也应该理解为包含在本发明的保护范围中。

Claims (13)

1.一种图像处理装置,其中,该图像处理装置具有:
图像信号输入处理部,其对第1红色信号、第1绿色信号以及第1蓝色信号进行输入处理;
色信息获取部,其从所述第1红色信号、所述第1绿色信号以及所述第1蓝色信号获取第1色信息;
扩张处理部,其在由所述第1色信息形成的特征空间中进行选择性扩张处理而得到第2色信息,所述选择性扩张处理使体腔内的观察对象所示的所述第1色信息所分布的多个色范围中的第1色范围不变动,而使其他的色范围变动;
RGB信号转换部,其将所述第2色信息转换成第2红色信号、第2绿色信号以及第2蓝色信号;以及
伪彩色显示处理部,其对所述第2红色信号、所述第2绿色信号以及所述第2蓝色信号进行伪彩色显示处理,得到红色显示用信号、绿色显示用信号以及蓝色显示用信号。
2.根据权利要求1所述的图像处理装置,其中,
所述伪彩色显示处理是第1色调转换处理,该第1色调转换处理从所述第2蓝色信号转换成所述蓝色显示用信号和所述绿色显示用信号、从所述第2绿色信号转换成红色显示用信号。
3.根据权利要求1所述的图像处理装置,其中,
所述伪彩色显示处理是第2色调转换处理,该第2色调转换处理对所述第2蓝色信号和所述第2红色信号进行第1加权运算而求出所述蓝色显示用信号、对所述第2蓝色信号和所述第2红色信号进行第2加权运算而求出所述绿色显示用信号、对所述第2绿色信号和所述第2红色信号进行第3加权运算而求出所述红色显示用信号。
4.根据权利要求1所述的图像处理装置,其中,
所述扩张处理部具有角度调整部,该角度调整部在所述特征空间中进行角度等倍处理和角度调整处理作为所述选择性扩张处理,其中,该角度等倍处理根据角度变化率W1x使包含经过所述第1色范围的第1基准线在内的一定的范围R1x内的角度等倍,该角度调整处理按照比所述角度变化率W1x大或小的角度变化率W1y使所述范围R1x的范围外的范围R1y内的角度发生变化。
5.根据权利要求1所述的图像处理装置,其中,
所述扩张处理部具有极径调整部,该极径调整部在所述特征空间中进行极径等倍处理和极径调整处理作为所述选择性扩张处理,其中,该极径等倍处理根据极径变化率W2x使包含经过所述第1色范围且与经过所述第1色范围的第1基准线交叉的第2基准线在内的一定的范围R2x内的极径等倍,该极径调整处理按照比所述极径变化率W2x大或小的极径变化率W2y使所述范围R2x的范围外的范围R2y的极径发生变化。
6.根据权利要求1所述的图像处理装置,其中,
所述第1色信息是所述第1红色信号、所述第1绿色信号以及所述第1蓝色信号中的2色的信号之间的第1信号比以及与所述第1信号比不同的2色的图像信号之间的第2信号比,
所述特征空间由所述第1信号比和所述第2信号比形成。
7.根据权利要求1所述的图像处理装置,其中,
所述第1色信息是色差信号Cr、Cb,
所述特征空间由色差信号Cr、Cb形成。
8.根据权利要求1所述的图像处理装置,其中,
所述第1色信息是CIE Lab空间的色泽的要素a、b
所述特征空间由要素a、b形成。
9.根据权利要求1所述的图像处理装置,其中,
所述第1色信息是色相和彩度,
所述特征空间由所述色相和所述彩度形成。
10.根据权利要求1至9中的任意一项所述的图像处理装置,其中,
该图像处理装置还具有明亮度调整部,该明亮度调整部根据由所述第1红色信号、所述第1绿色信号以及所述第1蓝色信号得到的第1明亮度信息和由所述第2红色信号、所述第2绿色信号以及所述第2蓝色信号得到的第2明亮度信息,对所述第2红色信号、所述第2绿色信号以及所述第2蓝色信号的像素值进行调整。
11.一种内窥镜系统,其中,该内窥镜系统具有:
光源部,其发出紫色光或蓝色光中的至少一方的光、绿色光以及红色光;
光源控制部,其独立地控制所述紫色光或蓝色光中的至少一方的光、所述绿色光以及所述红色光的光量,所述光源控制部进行使所述紫色光或蓝色光中的至少一方的光和所述绿色光的光量比所述红色光的光量大的特定光量控制;
拍摄传感器,其对在所述特定光量控制的基础上利用从所述光源部照射的光而实现照明的过程中的体腔内的观察对象进行拍摄;
图像信号输入处理部,其对从所述拍摄传感器输出的第1红色信号、第1绿色信号以及第1蓝色信号进行输入处理;
色信息获取部,其从所述第1红色信号、所述第1绿色信号以及所述第1蓝色信号获取第1色信息;
扩张处理部,其在由所述第1色信息形成的特征空间中进行选择性扩张处理而得到第2色信息,所述选择性扩张处理使体腔内的观察对象所示的所述第1色信息所分布的多个色范围中的第1色范围不变动,而使其他的色范围变动;
RGB信号转换部,其将所述第2色信息转换成第2红色信号、第2绿色信号以及第2蓝色信号;以及
伪彩色显示处理部,其对所述第2红色信号、所述第2绿色信号以及所述第2蓝色信号进行伪彩色显示处理而得到红色显示用信号、绿色显示用信号以及蓝色显示用信号。
12.一种内窥镜系统,其中,该内窥镜系统具有:
拍摄传感器,其具有蓝色像素、绿色像素以及红色像素,该拍摄传感器对体腔内的观察对象进行拍摄;
拍摄控制部,其进行针对所述蓝色像素、所述绿色像素以及所述红色像素的控制,所述拍摄控制部进行使所述蓝色像素和所述绿色像素的感光度比所述红色像素的感光度高的特定拍摄控制;
图像信号输入处理部,其对从所述拍摄传感器输出的第1红色信号、第1绿色信号以及第1蓝色信号进行输入处理;
色信息获取部,其从所述第1红色信号、所述第1绿色信号以及所述第1蓝色信号获取第1色信息;
扩张处理部,其在由所述第1色信息形成的特征空间中进行选择性扩张处理而得到第2色信息,所述选择性扩张处理使体腔内的观察对象所示的所述第1色信息所分布的多个色范围中的第1色范围不变动,而使其他的色范围变动;
RGB信号转换部,其将所述第2色信息转换成第2红色信号、第2绿色信号以及第2蓝色信号;以及
伪彩色显示处理部,其对所述第2红色信号、所述第2绿色信号以及所述第2蓝色信号进行伪彩色显示处理,而得到红色显示用信号、绿色显示用信号以及蓝色显示用信号。
13.一种图像处理装置的工作方法,其中,该图像处理装置的工作方法具有如下的步骤:
图像信号输入处理部对第1红色信号、第1绿色信号以及第1蓝色信号进行输入处理;
色信息获取部从所述第1红色信号、所述第1绿色信号以及所述第1蓝色信号获取第1色信息;
扩张处理部在由所述第1色信息形成的特征空间中进行选择性扩张处理而得到第2色信息,所述选择性扩张处理使体腔内的观察对象所示的所述第1色信息所分布的多个色范围中的第1色范围不变动,而使其他的色范围变动;
RGB信号转换部将所述第2色信息转换成第2红色信号、第2绿色信号以及第2蓝色信号;以及
伪彩色显示处理部对所述第2红色信号、所述第2绿色信号以及所述第2蓝色信号进行伪彩色显示处理而得到红色显示用信号、绿色显示用信号以及蓝色显示用信号。
CN201610607715.2A 2015-07-28 2016-07-28 图像处理装置及其工作方法以及内窥镜系统 Active CN106388756B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015148250A JP6461739B2 (ja) 2015-07-28 2015-07-28 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
JP2015-148250 2015-07-28

Publications (2)

Publication Number Publication Date
CN106388756A true CN106388756A (zh) 2017-02-15
CN106388756B CN106388756B (zh) 2020-10-23

Family

ID=56737886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610607715.2A Active CN106388756B (zh) 2015-07-28 2016-07-28 图像处理装置及其工作方法以及内窥镜系统

Country Status (4)

Country Link
US (1) US9913568B2 (zh)
EP (1) EP3123927B1 (zh)
JP (1) JP6461739B2 (zh)
CN (1) CN106388756B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111278349A (zh) * 2017-10-26 2020-06-12 富士胶片株式会社 医疗图像处理装置
US10939801B2 (en) 2017-03-31 2021-03-09 Hoya Corporation Electronic endoscope system
CN112770660A (zh) * 2018-09-07 2021-05-07 安布股份有限公司 增强彩色图像中的血管可见性

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9522396B2 (en) 2010-12-29 2016-12-20 S.D. Sight Diagnostics Ltd. Apparatus and method for automatic detection of pathogens
WO2013098821A1 (en) 2011-12-29 2013-07-04 Parasight Ltd. Methods and systems for detecting a pathogen in a biological sample
EP2999988A4 (en) 2013-05-23 2017-01-11 S.D. Sight Diagnostics Ltd. Method and system for imaging a cell sample
IL227276A0 (en) 2013-07-01 2014-03-06 Parasight Ltd A method and system for obtaining a monolayer of cells, for use specifically for diagnosis
JP2016107003A (ja) * 2014-12-10 2016-06-20 富士フイルム株式会社 医用画像処理装置及びその作動方法
EP3859425B1 (en) 2015-09-17 2024-04-17 S.D. Sight Diagnostics Ltd. Methods and apparatus for detecting an entity in a bodily sample
WO2017145270A1 (ja) * 2016-02-23 2017-08-31 オリンパス株式会社 画像処理装置、画像処理方法および内視鏡
WO2017168411A1 (en) 2016-03-30 2017-10-05 S.D. Sight Diagnostics Ltd Image processing device for identifying blood parasites
EP3455610B1 (en) 2016-05-11 2023-01-04 S.D. Sight Diagnostics Ltd. Sample carrier for optical measurements
CN111788471B (zh) 2017-11-14 2023-12-12 思迪赛特诊断有限公司 用于光学测量的样品载体
WO2019111931A1 (ja) 2017-12-05 2019-06-13 日本製鉄株式会社 アルミ系めっき鋼板、アルミ系めっき鋼板の製造方法及び自動車用部品の製造方法
US10970828B2 (en) * 2018-12-21 2021-04-06 Ricoh Company, Ltd. Image processing apparatus, image processing system, image processing method, and recording medium
WO2021060158A1 (ja) * 2019-09-24 2021-04-01 富士フイルム株式会社 内視鏡システム及びその作動方法
AU2020400353A1 (en) * 2019-12-12 2022-06-02 S.D. Sight Diagnostics Ltd Artificial generation of color blood smear image
US11166622B2 (en) 2020-02-21 2021-11-09 Ambu A/S Video processing apparatus
US11109741B1 (en) 2020-02-21 2021-09-07 Ambu A/S Video processing apparatus
US10980397B1 (en) 2020-02-21 2021-04-20 Ambu A/S Video processing device
US10835106B1 (en) 2020-02-21 2020-11-17 Ambu A/S Portable monitor

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156938A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
US20140340497A1 (en) * 2013-05-14 2014-11-20 Fujifilm Corporation Processor device, endoscope system, and operation method of endoscope system
US20150080653A1 (en) * 2013-09-13 2015-03-19 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
CN104470416A (zh) * 2012-07-17 2015-03-25 Hoya株式会社 图像处理装置和内窥镜装置
CN104575403A (zh) * 2013-10-22 2015-04-29 株式会社日本显示器 显示装置、显示装置的驱动方法以及电子设备
WO2015064435A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 画像処理装置及びその作動方法
WO2015072192A1 (ja) * 2013-11-13 2015-05-21 オリンパス株式会社 内視鏡システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4926247A (en) * 1986-10-15 1990-05-15 Olympus Optical Co., Ltd. Color imaging apparatus including a means for electronically non-linearly expanding and compressing dynamic range of an image signal
US6080104A (en) * 1995-05-16 2000-06-27 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope system
US5649021A (en) * 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
US6456317B1 (en) * 1997-12-03 2002-09-24 Olympus Optical Co., Ltd. Endoscopic apparatus
JP5467754B2 (ja) * 2008-07-08 2014-04-09 Hoya株式会社 電子内視鏡用信号処理装置および電子内視鏡装置
JP5637834B2 (ja) * 2010-12-15 2014-12-10 富士フイルム株式会社 内視鏡装置
JP5451802B2 (ja) * 2011-04-01 2014-03-26 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの校正方法
JP6168876B2 (ja) * 2013-06-24 2017-07-26 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
JP2016107003A (ja) * 2014-12-10 2016-06-20 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP6115967B2 (ja) * 2015-04-16 2017-04-19 富士フイルム株式会社 内視鏡システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104470416A (zh) * 2012-07-17 2015-03-25 Hoya株式会社 图像处理装置和内窥镜装置
WO2014156938A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
US20140340497A1 (en) * 2013-05-14 2014-11-20 Fujifilm Corporation Processor device, endoscope system, and operation method of endoscope system
US20150080653A1 (en) * 2013-09-13 2015-03-19 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
CN104575403A (zh) * 2013-10-22 2015-04-29 株式会社日本显示器 显示装置、显示装置的驱动方法以及电子设备
WO2015064435A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 画像処理装置及びその作動方法
WO2015072192A1 (ja) * 2013-11-13 2015-05-21 オリンパス株式会社 内視鏡システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939801B2 (en) 2017-03-31 2021-03-09 Hoya Corporation Electronic endoscope system
CN111278349A (zh) * 2017-10-26 2020-06-12 富士胶片株式会社 医疗图像处理装置
CN112770660A (zh) * 2018-09-07 2021-05-07 安布股份有限公司 增强彩色图像中的血管可见性
CN112770660B (zh) * 2018-09-07 2022-07-12 安布股份有限公司 增强彩色图像中的血管可见性
US11978184B2 (en) 2018-09-07 2024-05-07 Ambu A/S Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method

Also Published As

Publication number Publication date
JP2017023620A (ja) 2017-02-02
EP3123927B1 (en) 2020-03-18
US9913568B2 (en) 2018-03-13
US20170032539A1 (en) 2017-02-02
EP3123927A1 (en) 2017-02-01
JP6461739B2 (ja) 2019-01-30
CN106388756B (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN106388756A (zh) 图像处理装置及其工作方法以及内窥镜系统
CN105705075B (zh) 图像处理装置及其工作方法
CN105266750B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN102894948B (zh) 内窥镜系统及其控制方法
CN104939792B (zh) 医用图像处理装置及其工作方法
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN105310633B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN109419484B (zh) 内窥镜系统
CN106163367B (zh) 医用图像处理装置及其工作方法以及内窥镜系统
JP5222934B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
CN109068945A (zh) 图像处理装置、图像处理装置的工作方法及图像处理程序
CN104939791B (zh) 医用图像处理装置及其工作方法
CN110475503A (zh) 医疗用图像处理装置及内窥镜系统以及医疗用图像处理装置的工作方法
JP2017012395A (ja) 内視鏡システム及び内視鏡システムの作動方法
CN106163372A (zh) 内窥镜系统及其工作方法
CN107518867A (zh) 光源装置及内窥镜系统
CN105101863A (zh) 图像处理装置和内窥镜系统的工作方法
WO2017104233A1 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
CN105701792A (zh) 医用图像处理装置以及其工作方法
CN106073691A (zh) 内窥镜用光源装置及内窥镜系统
CN105455773B (zh) 医用图像处理装置及其工作方法
JP2019136555A (ja) 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法
WO2017104232A1 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6905038B2 (ja) 光源装置及び内視鏡システム
JP6378140B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant