CN107427198B - 图像处理装置、活体观察装置和图像处理方法 - Google Patents

图像处理装置、活体观察装置和图像处理方法 Download PDF

Info

Publication number
CN107427198B
CN107427198B CN201580078515.6A CN201580078515A CN107427198B CN 107427198 B CN107427198 B CN 107427198B CN 201580078515 A CN201580078515 A CN 201580078515A CN 107427198 B CN107427198 B CN 107427198B
Authority
CN
China
Prior art keywords
reliability
fat region
fat
image
blood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580078515.6A
Other languages
English (en)
Other versions
CN107427198A (zh
Inventor
森田惠仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107427198A publication Critical patent/CN107427198A/zh
Application granted granted Critical
Publication of CN107427198B publication Critical patent/CN107427198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • A61B5/4872—Body fat
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

使手术人员掌握由于血液或其他干扰的影响而妨碍脂肪检测使得无法正确检测脂肪的区域，降低神经损伤的风险。提供图像处理部，其具有：脂肪区域设定部(32)，其检测表示活体组织图像中的脂肪所存在的脂肪区域的脂肪区域信息；脂肪区域可靠度计算部(37)，其计算由脂肪区域设定部(32)检测出的脂肪区域信息的可靠度；以及显示方式设定部，其将由脂肪区域可靠度计算部(37)计算的计算可靠度比作为基准的基准可靠度低的脂肪区域信息所表示的脂肪区域加工为能够与周边区域区分开的显示方式。

Description

图像处理装置、活体观察装置和图像处理方法
技术领域
本发明涉及图像处理装置、活体观察装置和图像处理方法。
背景技术
以往，已知照射易被血液中含有的血红蛋白吸收的窄带化的波长的照明光，对粘膜表面的毛细血管等进行强调显示的窄带光观察(NBI)(例如，参照专利文献1)。
该窄带光观察作为用于进行食管区域的详细诊断或大肠的麻点图像(腺管构造)观察而广泛进行的色素散布的代替观察法而受到期待，基于检查时间和不必要的活检的减少，可期待其对于检查的高效化的贡献。
然而，窄带光观察虽然能够进行血管的强调显示，然而难以对神经进行强调显示。
例如，在直肠全切除手术或前列腺全切除手术中进行神经的保留的情况下，在切除对象脏器时，为了不会伤及以包围对象脏器的方式分布的神经，需要使对象脏器露出并切除，然而直径50～300μm的细神经是白色或透明的，因此即使是使用腹腔镜的放大观察也难以观察到。因此，医师不得不借助于经验或感觉来进行手术，存在损伤神经的可能性高这样的不良情况。
为了消除这种不良情况，提出了易于观察切除对象等对象脏器的表面的组织的构造，将包围对象脏器的神经的损伤防患于未然的活体观察装置(例如，参照专利文献2)。在该专利文献2中，着眼于包围对象脏器的神经存在于脂肪层内，由于脂肪中含有的β胡萝卜素和血液中的血红蛋白分别具有不同的波段的吸收特性，因此通过对被摄体照射特定的波段的照射光来取得易于分辨脂肪的图像，由此能够以不对在脂肪层内分布的神经带来损伤的方式进行手术。
在先技术文献
专利文献
专利文献1：日本特开2011-224038号公报
专利文献2：国际公开第2013/115323号
发明内容
发明要解决的课题
另外，手术中由于出血等而会在被摄体上存在大量的血液。被摄体上的血液的量越多则所吸收的光量越增加，所吸收的波长依赖于血红蛋白的吸收特性。若在脂肪上承载了大量的血液，则相比β胡萝卜素的吸收而言血红蛋白的吸收处于支配的地位，存在无法正确检测脂肪(在脂肪检测中发生假阳性、假阴性)的不良情况。此外，作为妨碍脂肪检测的要因，除了血液以外还可举出曝光量不足、亮点、雾、钳子等的干扰。由于上述的妨碍要因，在无法正确检测脂肪的情况下进行手术会导致神经损伤的风险增加。
本发明就是鉴于上述情况而做出的，其目的在于提供能够使手术人员掌握由于血液或其他干扰的影响而妨碍脂肪检测使得无法正确检测脂肪的区域，降低神经损伤的风险的图像处理装置、活体观察装置和图像处理方法。
用于解决课题的手段
本发明的第1方面是一种图像处理装置，其具有：脂肪区域信息检测部，其检测表示活体组织图像中的脂肪所存在的脂肪区域的脂肪区域信息；可靠度计算部，其计算由该脂肪区域信息检测部检测出的脂肪区域信息的可靠度；以及显示方式加工部，其将由该可靠度计算部计算的计算可靠度比作为基准的基准可靠度低的所述脂肪区域信息所表示的所述脂肪区域加工为能够与周边区域区分开的显示方式。
根据本发明的第1方面，由脂肪区域信息检测部从被输入的活体组织图像中检测脂肪区域信息，由可靠度计算部计算该脂肪区域信息的可靠度(计算可靠度)。在手术过程中，在被摄体上存在血液，或由于曝光量不足、亮点、雾、钳子等的干扰产生影响，由此妨碍脂肪检测而可能无法正确检测脂肪区域信息。
与此相对，显示方式加工部在活体组织图像中，将比作为基准的基准可靠度低的计算可靠度的脂肪区域信息所表示的脂肪区域加工为能够与周边区域区分开的显示方式，由此可使手术人员掌握由于血液或干扰的影响妨碍脂肪检测而无法正确检测的、由脂肪区域信息表示的脂肪区域。由此，手术人员可进行掉排除该脂肪区域上的血液或干扰等的处置，降低神经损伤的风险。
上述方面可以构成为，所述脂肪区域信息的SN比越大则所述计算可靠度越高，该SN比越小则所述计算可靠度越低。
血液或干扰的影响越大则脂肪区域信息的SN比越小，而血液或干扰的影响越小则脂肪区域信息的SN比越大。因此，通过如上所述那样构成，可由可靠度计算部根据脂肪区域信息的SN比计算脂肪区域信息的正确的可靠度。
上述方面可以构成为，该图像处理装置具有血液区域信息检测部，该血液区域信息检测部检测表示所述活体组织图像中的血液所存在的血液区域的血液区域信息，所述血液区域信息相对于所述脂肪区域信息的比例越小则所述计算可靠度越高，该比例越大则所述计算可靠度越低。
手术过程中由于出血等而容易在被摄体上存在大量的血液，因此血液妨碍脂肪区域信息的检测的情况较多。此外，若血液区域信息相对于脂肪区域信息的的比例较大，则在脂肪区域上存在较多血液而妨碍脂肪区域信息的检测，而若血液区域信息相对于脂肪区域信息的的比例较小，则存在于脂肪区域上的血液的量较少而不会妨碍脂肪区域信息的检测。因此，通过如上所述那样构成，可由可靠度计算部根据脂肪区域信息相对于的血液区域信息的比例，得到脂肪区域信息的更正确的可靠度。
上述方面可以构成为，所述显示方式加工部将由所述计算可靠度比所述基准可靠度低的所述脂肪区域信息表示的所述脂肪区域与所述周边区域相比进行强调显示。此外，还可以构成为，所述显示方式加工部与由所述计算可靠度比所述基准可靠度低的所述脂肪区域信息表示的所述脂肪区域相比，对所述周边区域进行强调显示。
通过如上构成，均可通过简易的方法将由可靠度低的脂肪区域信息表示的脂肪区域与周边区域明确地区分开。
上述方面可以构成为，所述显示方式加工部向手术人员告知由所述计算可靠度比所述基准可靠度低的所述脂肪区域信息表示的所述脂肪区域。
通过如上构成，手术人员更易于掌握由可靠度低的脂肪区域信息表示的脂肪区域的存在。
本发明的第2方面是活体观察装置，其具有：照射部，其能够对活体组织照射照明光；摄像部，其对由该照射部照射的所述照明光在所述活体组织上反射的反射光中的特定波段的反射光进行摄影而取得所述活体组织图像；上述任意一项所述的图像处理装置，其对由该摄像部取得的所述活体组织图像进行处理；以及显示部，其显示由该图像处理装置处理后的所述活体组织图像。
根据本发明的第2方面，通过照射部对活体组织照射照明光，由摄像部对在活体组织进行反射的反射光中的特定波段的反射光进行摄影。例如，若由摄像部对在活体组织进行反射的反射光中的受到血管的存在所带来的影响较少而受到脂肪的存在带来的影响较大的特定波段的反射光进行摄影，则能够取得由于脂肪的存在而受到影响的活体组织图像。
对于这样取得的活体组织图像，由图像处理装置检测脂肪区域信息，对于由可靠度低的脂肪区域信息表示的脂肪区域实施将其加工为能够与周边区域区分开的显示方式的处理并通过显示部进行显示。因此，在由于血液或干扰的影响妨碍了脂肪检测而无法正确检测的情况下，能够使手术人员把握到由可靠度低的脂肪区域信息表示的脂肪区域，可通过手术人员的处置来降低神经损伤的风险。
上述方面可以构成为，该活体观察装置具有控制部，该控制部在所述计算可靠度比所述基准可靠度低的情况下，作为对所述活体组织照射的照明光而使所述照射部产生白色光，使所述摄像部对在所述活体组织中进行反射的所述白色光本身的反射光进行摄影。
通过这样构成，由于白色光比特定波段的照明光明亮，因此与特定波段的照明光的情况相比，可通过摄像部得到明亮的图像。因此，手术人员通过实施冲洗血液等的处置，易于去除降低脂肪检测精度的妨碍要因。在切换为白色光的情况下，难以进行脂肪的辨认，因此停止脂肪检测处理即可。
本发明的第3方面是一种图像处理方法，其包括：脂肪区域信息检测步骤，检测表示活体组织图像中的脂肪所存在的脂肪区域的脂肪区域信息；可靠度计算步骤，计算通过该脂肪区域信息检测步骤而检测出的脂肪区域信息的可靠度；以及显示方式加工步骤，将通过该可靠度计算步骤计算的计算可靠度比所述基准可靠度低的所述脂肪区域信息所表示的所述脂肪区域加工为能够与周边区域区分开的显示方式。
根据本发明的第3方面，在被摄体上存在血液，或者发生了曝光量不足、亮点、雾、钳子等的干扰的影响的情况下，能够将因脂肪检测被妨碍而无法正确检测的脂肪区域以使得手术人员能够与周边区域区分开的方式，容易地对活体组织图像进行处理。
发明效果
根据本发明，能够使手术人员掌握由于血液或其他干扰的影响妨碍了脂肪检测而无法正确地检测脂肪的区域，可获得降低神经损伤的风险的效果。
附图说明
图1是表示本发明的第1实施方式的活体观察装置的示意性整体结构图。
图2A是表示β胡萝卜素的吸收特性和血红蛋白的吸收特性的图。
图2B是表示设置于图1的活体观察装置的彩色CCD上的滤色器的透射率特性的图。
图2C是表示图1的活体观察装置的氙灯的光强度特性的图。
图2D是表示在图1的活体观察装置的特殊光观察模式中使用的滤镜的透射率特性的图。
图3是表示设置于图1的活体观察装置中的图像处理部的框图。
图4是表示图3的可靠度计算部的框图。
图5是表示分割为多个局部区域的脂肪图像的一例的图。
图6是表示图3的显示方式设定部的框图。
图7是表示图6的加工部的框图。
图8是表示使用图1的活体观察装置的图像处理方法的流程图。
图9是具体表示图8的图像处理方法的图像信号加工处理的流程图。
图10A是表示通过白色光观察模式得到的观察对象部位的图像的一例的图。
图10B是表示通过特殊光观察模式得到的观察对象部位的加工前的图像的一例的图。
图10C是表示对在图10B所示的观察对象部位的脂肪区域存在血液的状态进行摄影得到的图像的一例的图。
图11A是表示在图10C所示的图像中，将利用低于基准可靠度的计算可靠度的脂肪区域信息表示的脂肪区域加工为能够与周边区域区分开的颜色后的显示方式的一例的图。
图11B是表示在图10C所示的图像中，将利用低于基准可靠度的计算可靠度的脂肪区域信息表示的脂肪区域利用任意的目标色包围而加工为能够与周边区域区分开后的显示方式的一例的图。
图11C是表示在图10C所示的图像中，对利用低于基准可靠度的计算可靠度的脂肪区域信息表示的脂肪区域实施变更不包含于脂肪区域的周边区域的明亮度的加工后的显示方式的一例的图。
图12A是表示将脂肪图像分割为多个局部区域的状态的一例的图。
图12B是表示在图12A的脂肪图像中将脂肪区域重新设定为四边形状的状况的一例的图。
图13是表示本发明的第2实施方式的活体观察装置的示意性整体结构图。
图14是表示设置于图13的活体观察装置中的滤镜转盘的各滤镜的配置的主视图。
图15A是表示β胡萝卜素的吸收特性和血红蛋白的吸收特性的图。
图15B是表示图13的活体观察装置的白色光观察模式下的滤镜的透射率特性的图。
图15C是表示图13的活体观察装置的特殊光观察模式下的滤镜的透射率特性的图。
图16是表示本发明的第2实施方式的第1变形例的活体观察装置的示意性整体结构图。
图17A是表示β胡萝卜素的吸收特性和血红蛋白的吸收特性的图。
图17B是表示在图16的活体观察装置的白色光观察模式中使用的LED的光强度特性的图。
图17C是表示在图16的活体观察装置的特殊光观察模式中使用的LED的光强度特性的图。
图18是表示本发明的第2实施方式的第2变形例的活体观察装置的示意性整体结构图。
图19A是表示β胡萝卜素的吸收特性和血红蛋白的吸收特性的图。
图19B是表示图18的活体观察装置的色分解棱镜的分光透射率特性的图。
图19C是表示图18的活体观察装置的氙灯的光强度特性的图。
图19D是表示在图18的活体观察装置的特殊光观察模式中使用的滤镜的透射率特性的图。
具体实施方式
〔第1实施方式〕
以下参照附图对本发明的第1实施方式的图像处理部(图像处理装置)和具有该图像处理部的活体观察装置以及使用该图像处理部和该活体观察装置的图像处理方法进行说明。
本实施方式的活体观察装置1是内窥镜，如图1所示，其具有：被插入到活体内的插入部2；主体部5，其具有与插入部2连接的光源部(照射部)3和信号处理部4；图像显示部(显示部)6，其显示由信号处理部4生成的图像；以及用于进行来自操作者的输入的外部接口部(以下称作“外部I/F部”)7。
插入部2具有将由光源部3输入的光向被摄体照射的照明光学系统8、以及对来自被摄体的反射光进行摄影的摄影光学系统(摄像部)9。
照明光学系统8遍及插入部2的长度方向的全长范围被配置，是将从基端侧的光源部3射入的光导光至末端的光导线缆。
摄影光学系统9具有：物镜10，其会聚由照明光学系统8对被摄体照射的光从被摄体反射的反射光；以及摄像元件11，其对由物镜10会聚的光进行摄影。
摄像元件11例如是彩色CCD。
光源部3具有：氙灯12，其射出广波段的白色光；短波长截止滤镜13，其能够在来自氙灯12的光的光轴上插脱，以从由氙灯12发出的白色光中切取规定波长的光；以及直动机构14，其被后述的控制部18控制，将短波长截止滤镜13在光轴上插脱。
短波长截止滤镜13如图2D所示，遮断小于450nm的波段的光，并使450nm以上的波段的光透过。
摄像元件11如图2B所示，包括具有每个颜色的透射率的滤色器(省略图示)。
此外，氙灯12具有图2C所示的强度频谱。
这里，如图2A所示，在活体组织中含有的β胡萝卜素在400～500nm的区域具有高吸收特性。此外，作为血液中的成分的血红蛋白(HbO2、HbO)在450nm以下的波段和500～600nm的波段具有高吸收特性。这一点在图15A、图17A和图19A中也同样。
即，摄像元件11的滤色器的蓝色的波段包括血红蛋白的吸收大于β胡萝卜素的吸收的波段、以及β胡萝卜素的吸收大于血红蛋白的吸收的波段。并且，通过将短波长截止滤镜13在光轴上插入，由此在蓝色的波段中仅使得β胡萝卜素的吸收大于血红蛋白的吸收的波段的光通过，并使其照射在被摄体上。
并且，照射蓝色的波段的光而得到的图像受到血管(血红蛋白)的吸收的影响小，而脂肪组织(β胡萝卜素)的吸收多。另一方面，通过使短波长截止滤镜13从光轴上脱离，由此蓝色的全波段的光照射在被摄体上，因此能够与同时照射的红色和绿色的光一起取得白色光图像。
此外，绿色的波段中存在没有β胡萝卜素的吸收而有血红蛋白的吸收的区域，因此在照射绿色波段的光得到的图像中强度低的区域表示存在血液的区域、例如血管。
而且，在红色的波段中，β胡萝卜素和血红蛋白的吸收均不存在，因此照射该光而得到的图像表示活体组织表面的形态特征。
信号处理部4具有：插值部16，其对由摄像元件11取得的图像信号(活体组织图像)进行逆马赛克处理；图像处理部(图像处理装置)17，其对由插值部16处理后的图像信号进行处理；以及控制部18，其对摄像元件11、直动机构14和图像处理部17进行控制。
控制部18根据来自外部I/F部7的指示信号，使摄像元件11的摄影时机、短波长截止滤镜13的插脱和图像处理部17的图像处理的时机同步。此外，控制部18中保存有在图像处理部17的图像处理中使用的OB钳位值、增益校正值、WB系数值、灰度变换系数、颜色变换系数和轮廓强调系数等。
图像处理部17如图3所示，具有前处理部21、后处理部22、脂肪检测部23、血液检测部24、可靠度计算部25和显示方式设定部(显示方式加工部)26。它们与控制部18连接，并且都被控制部18控制。
前处理部21对由插值部16发送来的图像信号使用在控制部18中保存的OB钳位值、增益校正值和WB系数值，进行OB钳位处理、增益校正处理和WB校正处理这样的前处理。此外，前处理部21将前处理后的图像信号发送给后处理部22、脂肪检测部23和血液检测部24。
后处理部22对由前处理部21发送来的前处理后的图像信号使用在控制部18中保存的灰度变换系数、颜色变换系数和轮廓强调系数，进行灰度变换处理、颜色处理和轮廓强调处理这样的后处理，生成显示于图像显示部6的彩色图像。此外，后处理部22将后处理后的图像信号发送给显示方式设定部26。
脂肪检测部23根据由前处理部21发送来的前处理后的图像信号，生成脂肪图像信号。前处理后的图像信号包含与蓝色、绿色和红色的3种照明光对应的图像信号。脂肪检测部23根据这3种(3通道)图像信号生成1通道的脂肪图像信号。被摄体中含有的β胡萝卜素量越多则脂肪图像信号成为越高的信号值。此外，脂肪检测部23将所生成的脂肪图像信号发送给可靠度计算部25。
血液检测部24根据由前处理部21发送来的前处理后的图像信号，生成血液图像信号。如上所述，前处理后的图像信号包含与蓝色、绿色和红色的3种照明光对应的图像信号，血液检测部24根据绿色和红色的2种(2通道)图像信号生成1通道的血液图像信号。被摄体中含有的血红蛋白量越多则血液图像信号成为越高的信号值。此外，血液检测部24将所生成的血液图像信号发送给可靠度计算部25。
可靠度计算部25如图4所示，具有局部区域设定部31、脂肪区域设定部(脂肪区域信息检测部)32、局部区域设定部33、血液区域设定部(血液区域信息检测部)34、SN计算部35、血液分布计算部36和脂肪区域可靠度计算部(可靠度计算部)37。它们与控制部18连接，并且都被控制部18控制。
局部区域设定部31对由脂肪检测部23发送来的脂肪图像信号设定多个局部区域(狭义而言是块)。例如，局部区域设定部31将脂肪图像分割为矩形区域，并将所分割的各区域设定为局部区域。
虽然能够适当设定矩形区域的大小，然而在本实施方式中，例如图5所示，将16×16像素作为1个局部区域。脂肪图像由M×N个局部区域构成，利用(m、n)来表示各局部区域的坐标。此外，坐标(m、n)的局部区域表示为a(m、n)。图5中，将位于图像的左上的局部区域的坐标表示为(0、0)，将右方向表示为m的正方向，将下方向表示为n的正方向。
局部区域并非必须为矩形，可以将脂肪图像分割为任意的多边形，并将所分割出的各个区域设定为局部区域，这是不言自明的。此外，还可以根据操作者的指示来任意设定局部区域。在本实施方式中，为了进行此后的计算量的削减和噪声的除去，将由多个相邻的像素群构成的区域作为1个局部区域，还可以将1个像素作为1个局部区域。这种情况下的后续处理完全相同。
脂肪区域设定部32在脂肪图像上设定脂肪存在的脂肪区域。在本实施方式中，脂肪区域设定部32将β胡萝卜素量多的区域设定为脂肪区域。具体而言，脂肪区域设定部32首先对由局部区域设定部31设定的所有的局部区域进行阈值处理，提取出脂肪图像信号的值充分大的局部区域。
并且，脂肪区域设定部32进行将在所提取的局部区域内相邻的局部区域彼此统合的处理，将进行统合处理的结果得到的各区域设定为脂肪区域。在局部区域为1个的情况下也作为脂肪区域。此外，脂肪区域设定部32根据在脂肪区域中包含的局部区域的坐标a(m、n)和在各局部区域中包含的像素的信息，计算在脂肪区域中包含的所有像素的位置，并作为表示脂肪区域的脂肪区域信息发送给SN计算部35和血液分布计算部36。
局部区域设定部33对由血液检测部24发送来的血液图像信号设定多个局部区域(狭义而言是块)。局部区域设定部33对局部区域的设定方式与局部区域设定部31对局部区域的设定方式相同，因此省略说明。
血液区域设定部34在血液图像上设定血液存在的血液区域。在本实施方式中，血液区域设定部34将血红蛋白量多的区域设定为血液区域。血液区域设定部34对血液区域的设定方式与脂肪区域设定部32对脂肪区域的设定方式相同。
即，血液区域设定部34对由局部区域设定部33设定的所有的局部区域进行阈值处理，提取血液图像信号的值充分大的局部区域，将对相邻的局部区域彼此进行统合处理而得到的各区域设定为血液区域。此外，血液区域设定部34根据在血液区域中包含的局部区域的坐标a(m、n)和在各局部区域中包含的像素的信息，计算在血液区域中包含的所有像素的位置，并作为表示血液区域的血液区域信息发送给血液分布计算部36。
SN计算部35计算由脂肪区域设定部32发送来的脂肪区域信息的SN比。例如，作为SN比，求出脂肪区域信息的信号电平与噪声之比即可。具体而言，SN计算部35计算脂肪区域信息的信号电平的平均值(Ave)，并且对脂肪区域信息施加降噪处理以充分减少噪声，并计算噪声减少前的脂肪区域信息与噪声减少后的脂肪区域信息的差值。计算该差值的标准偏差作为噪声量(Noise)。
通过以下的式(1)来计算SN比。
SN比＝20×log10(Ave/Noise)···(1)
这里，SN比表示由于手术中的干扰(血液、钳子、雾等)而使得脂肪区域的检测精度降低的程度，SN比越小则表示脂肪区域信息的可靠度越低。此外，SN计算部35将所计算的脂肪区域信息的SN比发送给脂肪区域可靠度计算部37。
血液分布计算部36根据通过由脂肪区域设定部32发送来的脂肪区域信息表示的脂肪区域和通过由血液区域设定部34发送来的血液区域信息表示的血液区域，计算表示在脂肪区域内血液区域所占的比例的血液分布度信号。例如，能知悉在脂肪区域上血液以何种程度(范围)的广度存在即可。
具体而言，血液分布计算部36对脂肪区域的像素数(BkNum)进行计数，并且对在脂肪区域内存在的血液区域的像素数(HbNum)进行计数，并通过以下的式(2)来计算血液分布度信号(HbDist)。
HbDist＝HbNum/BkNum···(2)
这里，血液分布度信号表示在脂肪区域内存在血液的程度，血液存在得越多则该血液分布度信号越大。此外，血液分布度信号越大则表示脂肪区域信息的可靠度越低。血液分布计算部36将计算出的血液分布度信号发送给脂肪区域可靠度计算部37。
脂肪区域可靠度计算部37根据由SN计算部35发送来的脂肪区域信息的SN比和由血液分布计算部36发送来的血液分布度信号来计算脂肪区域信息的可靠度。具体而言，脂肪区域可靠度计算部37将脂肪区域信息的可靠度(BkTrust)作为脂肪区域信息的SN比(SN)与血液分布度信号(HbDist)的线形和，通过以下的式(3)来计算。
BkTrust＝α×SN+β×(1/HbDist)···(3)
这里，脂肪区域的检测精度越高则脂肪区域信息的可靠度成为越大的值。此外，α、β是常数项，是根据在计算脂肪区域信息的可靠度的方面(包含血液)重视干扰的影响还是重视(仅)血液的影响而能够调整的参数。可由操作者利用通过控制部18的外部I/F部7来设定参数。脂肪区域可靠度计算部37将脂肪区域信息及其可靠度发送给显示方式设定部26。以下，将由脂肪区域可靠度计算部37计算的脂肪区域信息的可靠度称作计算可靠度。
显示方式设定部26如图6所示具有：加工部41，其根据由可靠度计算部25发送来的脂肪区域信息及其计算可靠度，对由后处理部22发送来的后处理后的图像信号进行加工；以及选择部42，其选择显示于图像显示部6上的图像。它们与控制部18连接，并且都被控制部18控制。
加工部41如图7所示，具有区域选出部43和区域加工部44。
区域选出部43选出由可靠度计算部25发送来的脂肪区域信息中的所关注的区域的脂肪区域信息。具体而言，区域选出部43从脂肪区域信息中选出具有比预先设定的作为基准的基准可靠度小的计算可靠度的脂肪区域信息。通过进行这种处理，排除可靠度高的(干扰少的)脂肪区域信息，能够选出可靠度低的(干扰多的)脂肪区域信息。
接着，区域选出部43在由后处理部22发送来的后处理后的图像信号中，将通过之前选出的计算可靠度低于基准可靠度的脂肪区域信息表示的区域设定为对应关注区域，并将所设定的对应关注区域的像素的信息作为对应关注区域信息发送给区域加工部44。
区域加工部44对由区域选出部43发送来的后处理后的图像信号中的对应关注区域信息表示的像素使用以下的式(4)～(6)来进行颜色变换处理。
r＿out(x、y)＝gain×r(x、y)+(1-gain)×T＿r··(4)
g＿out(x、y)＝gain×g(x、y)+(1-gain)×T＿g··(5)
b＿out(x、y)＝gain×b(x、y)+(1-gain)×T＿b··(6)
这里，r(x、y)、g(x、y)、b(x、y)是颜色变换前的图像信号的坐标(x、y)上的R、G、B通道的信号值，r＿out(x、y)、g＿out(x、y)、b＿out(x、y)是颜色变换后的图像的R、G、B通道的信号值。此外，T＿r、T＿g、T＿b是任意的目标色的R、G、B信号值，gain是0～1的任意的系数。
通过该处理，将由计算可靠度低于基准可靠度的脂肪区域信息表示的脂肪区域加工为与周边区域相比不同的颜色。区域加工部44将加工后的图像信号发送给选择部42。另外，区域加工部44例如可以按照脂肪区域信息的计算可靠度从低到高的顺序等实施对脂肪区域附加优先级的加工。
选择部42选择由后处理部22发送来的后处理后的图像信号和由加工部41发送来的加工后的图像信号中的任意一方并发送给图像显示部6。例如，在未检测出脂肪区域信息的情况下，将由后处理部22发送来的后处理后的图像信号选择作为显示图像，在检测出脂肪区域信息的情况下，将由加工部41发送来的加工处理后的图像信号选择作为显示图像。此外，在希望开启/关闭图像信号的加工处理的情况下，由操作者利用外部I/F部7进行设定，根据由控制部18对选择部42输入的控制信号进行控制即可。
图像显示部6是能够进行动态图像显示的显示装置，例如由CRT或液晶监视器等构成。该图像显示部6显示由选择部42发送来的图像。
外部I/F部7是用于进行来自操作者对内窥镜装置的输入等的接口。外部I/F部7具有能够进行图像信号加工处理的开启/关闭指示的未图示的加工处理按钮，操作者能够从外部I/F部7来进行图像信号的加工处理的开启/关闭指示。来自外部I/F部7的图像信号加工处理的开启/关闭指示信号被输出给控制部18。外部I/F部7包括用于进行电源的开启/关闭的电源开关、用于切换摄影模式及其他各种模式的模式切换按钮等。
参照图8和图9的流程图对使用这样构成的本实施方式的活体观察装置1和图像处理部17的图像处理方法进行说明。
为了使用本实施方式的活体观察装置1观察活体，首先将插入部2插入体腔内，并使插入部2的末端与观察对象部位相对。操作者使外部I/F部7的图像信号加工处理的开启/关闭指示信号关闭，通过控制部18使直动机构14进行工作以使短波长截止滤镜13从光轴上退避。
接着，如图8所示，将由氙灯12发生的广波段的白色光通过光导线缆7引导至插入部2的末端，使各照明光向观察对象部位(被摄体)照射(照明光照射步骤SA1)。照射在观察对象部位上的白色光在观察对象部位的表面上反射后，被物镜10会聚而被摄像元件11拍摄(图像信号取得步骤SA2)。
由彩色CCD构成的摄像元件11包括具有每个颜色的透射率的滤色器，因此利用与各色对应的像素分别取得图像信号。由摄像元件11取得的图像信号被插值部16实施逆马赛克处理，转换为3通道的图像信号并发送给图像处理部17。
在图像处理部17中，对于由插值部16发送来的图像信号，由前处理部21进行使用在控制部18中保存的OB钳位值、增益校正值、WB系数值的OB钳位处理、增益校正处理和WB校正处理这样的前处理(前处理步骤SA3)，发送给后处理部22。
接着，通过后处理部22对于由前处理部21发送来的前处理后的图像信号，使用在控制部18中保存的灰度变换系数、颜色变换系数和轮廓强调系数，进行灰度变换处理、颜色处理和轮廓强调处理这样的后处理，生成显示于图像显示部6上的白色光图像(后处理步骤SA4)。
接着，由控制部18判断来自外部I/F部7的图像信号加工处理的开启/关闭指示信号(加工处理判定步骤SA5)。由于图像信号加工处理的开启/关闭指示信号是关闭，因此通过显示方式设定部26由图像显示部6显示由后处理部22生成的白色光图像(显示步骤SA7)。将该观察模式称作白色光观察模式。
在白色光观察模式下，操作者可通过显示于图像显示部6上的白色光图像来观察活体组织的形态。白色光图像中，例如在血管存在的区域内，在蓝色B2和绿色G2的波段存在吸收，因此血管显示为红色。此外，在脂肪存在的区域内，在蓝色B2存在吸收，因此脂肪显示为黄色。
然而，在白色光图像中，在脂肪组织极薄的情况下，位于脂肪组织的里侧的脏器中的血管颜色会透过来，从而不易得知脂肪组织的存在。例如，图10A表示通过白色光观察模式得到的观察对象部位的图像，整体明亮而易于观察，然而对存在于筋膜内的脂肪难以进行辨认。
于是，这种情况下，操作者从外部I/F部7将图像信号加工处理的开启/关闭指示信号切换为开启，通过控制部18使直动机构14进行工作，将短波长截止滤镜13插入到来自氙灯12的光的光轴上。
由氙灯12发出的白色光在短波长截止滤镜13中透过，450nm以下的波段被截止，通过光导线缆7而从插入部2的末端照射在观察对象部位上(照明光照射步骤SA1)。通过照射白色光而在观察对象部位的表面上反射的反射光被物镜9会聚并被摄像元件11拍摄(图像信号取得步骤SA2)。
由摄像元件11的与绿色和红色对应的像素取得的图像信号在白色光观察模式的情况下不会发生变化，而由与蓝色对应的像素取得的图像信号的450nm以下的波段被截止，从而成为包含于450至500nm中的波段的信号。由插值部16对由摄像元件11取得的图像信号实施逆马赛克处理而转换为3通道的图像信号后，发送给图像处理部17。
特殊光观察模式下的蓝色的从450至500nm的波段B1与被短波长截止滤镜13截止后的从400至450nm的波段B0相比，是β胡萝卜素的吸收大于血红蛋白的吸收的波段。因此，通过照射该波段B1的光而得到的图像与照射波段B0的光而得到的图像相比，基于血液的吸收的影响小而基于脂肪的吸收的影响大。即，可得到更为反映脂肪的分布的图像。
此外，绿色的波段是β胡萝卜素的吸收极少，血红蛋白的吸收大的波段。因此，在照射绿色的波段的光而得到的图像中，作为亮度小的区域，无论是否存在脂肪，都表示血液存在的区域。即，能够明确显示出是血液或血管等含有较多血红蛋白的组织。
而且，红色的波段是对于β胡萝卜素以及血红蛋白而言吸收都极少的波段。因此，照射红色的波段的光而得到的图像示出基于被摄体的形状(凹凸、管腔、皱褶等)的亮度分布。
在图像处理部17中，由前处理部21对由插值部16发送来的图像信号进行前处理(前处理步骤SA3)，并且发送给后处理部22、脂肪检测部23和血液检测部24。
接着，由后处理部22对从前处理部21发送来的前处理后的图像信号进行后处理(后处理步骤SA4)，并发送给显示方式设定部26。
接着，由控制部18对处理脂肪强调处理的开启/关闭指示信号进行判定(加工处理判定步骤SA5)，由于图像信号加工处理的开启/关闭指示信号是开启，因此执行图像信号的加工处理(图像信号加工处理步骤SA6)。
在图像信号的加工处理中，如图9所示，脂肪检测部23根据由前处理部21发送来的蓝色、绿色和红色的3种(3通道)图像信号，生成在被摄体中含有的β胡萝卜素量越多则信号值越高的1通道的脂肪图像信号(脂肪图像信号生成步骤SB1)，并发送给可靠度计算部25。
此外，血液检测部24根据由前处理部21发送来的图像信号中的绿色和红色的2种(2通道)图像信号，生成在被摄体中含有的血红蛋白量越多则信号值越高的1通道的血液图像信号(血液图像信号生成步骤SB2)，并发送给可靠度计算部25。
接着，在可靠度计算部25中，由局部区域设定部31和脂肪区域设定部32在从脂肪检测部23发送来的脂肪图像信号中设定脂肪区域，计算表示脂肪区域的脂肪区域信息(脂肪区域信息检测步骤SB3)。将计算出的脂肪区域信息发送给SN比计算部35和血液分布计算部36。并且，由SN计算部35计算脂肪区域信息的SN比(SN比计算步骤SB4)。
此外，由局部区域设定部33和脂肪区域设定部32在从血液检测部24发送来的血液图像信号中设定血液区域，计算表示血液区域的血液区域信息(血液区域信息检测步骤SB5)。将计算出的血液区域信息发送给血液分布计算部36。并且，由血液分布计算部36根据脂肪区域信息和血液区域信息，计算表示在脂肪区域内血液区域所占的比例的血液分布度信号(血液分布度信号计算步骤SB6)。
接着，由脂肪区域可靠度计算部37根据脂肪区域信息的SN比和血液分布度信号，计算脂肪区域信息的可靠度(可靠度计算步骤SB7)，将计算出的脂肪区域信息的计算可靠度发送给显示方式设定部26。
在显示方式设定部26中，由区域选出部43在从后处理部22发送来的后处理后的图像信号中，设定由计算可靠度低于基准可靠度的脂肪区域信息表示的对应关注区域(对应关注区域设定步骤SB8)，将表示对应关注区域的像素的对应关注区域信息发送给区域加工部44。
接着，由区域加工部44将从后处理部22发送来的后处理后的图像信号中的对应关注区域信息表示的脂肪区域加工为与周边区域相比不同的颜色(显示方式加工步骤SB9)。并且，由选择部42将从加工部41发送来的加工处理后的图像信号选择作为显示图像，并通过图像显示部6显示(图8的显示步骤SA7)。将该观察模式称作特殊光观察模式。
在特殊光观察模式下，例如图10B所示，由后处理部22进行了后处理的图像与通过图10A所示的白色光观察模式得到的图像相比能够提高脂肪的辨认性。然而，如图10C所示，脂肪的辨认性会被以血液等作为代表的手术中的干扰妨碍，有时无法正确检测脂肪。
与此相对，在本实施方式中，如图11A所示，由加工部41将由计算可靠度低于基准可靠度的脂肪区域信息表示的脂肪区域加工为能够与周边区域区分开的颜色并显示，由此操作者能够容易掌握由于血液或干扰的影响而无法正确检测的、由脂肪区域信息表示的脂肪区域，可进行排除掉该脂肪区域内的血液或干扰等的处置。
另外，在脂肪图像信号中未检测出脂肪区域信息的情况下，由选择部42将从后处理部22发送来的后处理后的图像信号选择为显示图像并显示于图像显示部6。
如以上说明的那样，根据本实施方式的活体观察装置1和图像处理部17，在手术过程中被摄体上存在血液或曝光量不足、亮点、雾、钳子等的干扰产生影响，妨碍脂肪检测而无法正确检测脂肪区域信息的情况下，在活体组织图像中将由计算可靠度低于基准可靠度的脂肪区域信息表示的脂肪区域加工为能够与周边区域区分开的显示方式，由此能够使操作者掌握到脂肪检测被妨碍而无法正确检测的脂肪区域。由此，操作者进行排除掉该脂肪区域中的血液或干扰等的处置，能够降低神经损伤的风险。
在本实施方式中，区域加工部44如图11A所示，将由计算可靠度低于基准可靠度的脂肪区域信息表示的脂肪区域加工为与周边区域相比不同的颜色。也可以代替上述情况，例如区域加工部44对构成后处理后的图像信号中的对应关注区域信息表示的对应关注区域的边界的所有像素，使用以下的式(7)～(9)来进行颜色变换处理。
r＿out(x、y)＝T＿r·····(7)
g＿out(x、y)＝T＿g·····(8)
b＿out(x、y)＝T＿b·····(9)
通过进行这种处理，如图11B所示，将由计算可靠度低于基准可靠度的脂肪区域信息表示的脂肪区域用任意的目标色包围，能够利用与周边区域相比可区分开的方式进行显示。
此外，区域加工部44对在后处理后的图像信号中的对应关注区域信息所表示的脂肪区域内未包含的周边区域的像素可进行以下的式(10)～(12)所示的亮度变换处理。
r＿out(x、y)＝gain×r(x、y)···(10)
g＿out(x、y)＝gain×g(x、y)···(11)
b＿out(x、y)＝gain×b(x、y)···(12)
通过进行这种处理，如图11C所示，使得在由计算可靠度低于基准可靠度的脂肪区域信息所表示的脂肪区域内未包含的周边区域变暗，能够相对地易于观察脂肪区域。
此外，在本实施方式中，区域选出部43将由后处理后的图像信号中的计算可靠度低于基准可靠度的脂肪区域信息所表示的脂肪区域设定作为对应关注区域，也可以取代这种情况，将由后处理后的图像信号中的计算可靠度在基准可靠度以上的脂肪区域信息所表示的脂肪区域设定为对应关注区域。
对由计算可靠度在基准可靠度以上的脂肪区域信息所表示的脂肪区域进行加工，由此可相对地提高由可靠度低于基准可靠度的脂肪区域信息所表示的脂肪区域的辨认性，能够使手术人员掌握由于血液或干扰的影响而无法正确检测的脂肪区域。
此外，在本实施方式中，脂肪区域设定部32仅仅将在所提取的局部区域中相邻的局部区域统合起来，也可以取代这种情况，由脂肪区域设定部32以使得脂肪区域信息表示多边形或圆形等任意形状的方式重新设定脂肪区域信息。
例如，图12A、12B表示脂肪图像的一例，由虚线围出的各个区域分别表示局部区域。在图12A中，在希望使脂肪区域A的形状成为四边形的情况下，首先根据属于脂肪区域A的局部区域a(m、n)的坐标和包含于各局部区域内的像素的信息，计算包含于脂肪区域A内的所有的像素的位置。
然后，如图12B所示，还可以将与计算出的所有像素的集合外切的四边形再次设定为脂肪区域A，并计算在所设定的四边形的脂肪区域A内包含的所有像素的位置，作为表示脂肪区域A的脂肪区域信息输出。
这样，就能够将脂肪区域A重新设定为易于辨认的形状。
〔第2实施方式〕
接着，以下参照附图对本发明的第2实施方式的图像处理部(图像处理装置)和具有该图像处理部的活体观察装置以及图像处理方法进行说明。
在本实施方式的说明中，对与上述第1实施方式的图像处理部17、活体观察装置1和图像处理方法采取相同结构的部位赋予同一标号并省略说明。
在第1实施方式中，作为摄像元件11采用彩色CCD，同时取得3通道的图像信号。本实施方式的活体观察装置50代替这种情况，如图13所示，作为摄像元件51采用单色CCD，并且取代短波长截止滤镜13和直动机构14而具有如下机构：滤镜转盘52，其从由氙灯12发出的白色光中切取规定波长的光并使其按照时分依次通过；对滤镜转盘52进行驱动的马达53；以及直动机构54，其使滤镜转盘52在与氙灯12的光轴交叉的方向上移动。此外，信号处理部4取代插值部16而具有存储器55，该存储器55按照对观察对象部位照射的照明光的每个波长存储由摄像元件51取得的图像信号。
滤镜转盘52例如图14所示，具有以旋转中心A为中心在半径方向上配置为同心圆状的2种滤镜群F1、F2。该滤镜转盘52在来自氙灯12的白色光的光轴上配置任意的滤镜群F1、F2，由此能够将由滤镜群F1、F2选择的光向插入部2侧射出。
第1滤镜群F1如图15C所示，通过沿周向排列对于蓝色、绿色和红色的波段中的蓝色(B1：450～480nm)、绿色(G1：550～570nm)和红色(R1：620～650nm)透射率高的滤镜B1、G1、R1而构成。
第2滤镜群F1如图15B所示，通过在周向上排列使蓝色(B2：400～490nm)、绿色(G2：500～570nm)和红色(R2：590～650nm)的大致连续的波段的光分别透过的滤镜B2、G2、R2而构成。图15A是与图2A相同的曲线图。
与第2滤镜群F2的蓝色的波段相比，第1滤镜群F1的蓝色的波段是基于β胡萝卜素的吸收大于基于血红蛋白的吸收的波段，因此在照射第1滤镜群F1的蓝色的波段的光而得到的图像中，基于血管的吸收的影响小，基于脂肪组织的吸收多。另一方面，对在第2滤镜群F2的各滤镜B2、G2、R2中透过的光的反射光分别进行拍摄，并附加对应颜色而合成的图像成为白色光图像。
此外，第1滤镜群F1的绿色G1的波段是没有基于β胡萝卜素的吸收而有基于血红蛋白的吸收的区域，因此在照射第1滤镜群F1的绿色G1的波段的光而得到的图像中强度低的区域表示血液存在的区域，例如表示血管。
而且，在第1滤镜群F1的红色R1的波段中，β胡萝卜素和血红蛋白的吸收都不存在，因此照射第1滤镜群F1的红色R1的波段的光而得到的图像表现活体组织表面的形态特征。
图像处理部17进行对被存储于存储器55的图像信号附加不同颜色并合成的图像处理。
此外，控制部18使摄像元件51的摄影时机、滤镜转盘52的旋转以及图像处理部17的图像处理的时机同步。
在这样构成的本实施方式的活体观察装置50中，首先使滤镜转盘52的第2滤镜群F2在来自氙灯12的光的光轴上移动，依次照射蓝色B2、绿色G2和红色R2的照明光，并由摄像元件51对照射各照明光时的观察对象部位上的反射光依次拍摄。
将与各色的照明光对应的图像信息依次存储于存储器55，在取得与蓝色B2、绿色G2和红色R2的3种照明光对应的图像信息的时刻，将这些图像信息从存储器55发送给图像处理部17。在图像处理部17中，由前处理部21和后处理部22实施各图像处理，并且由后处理部22对各图像信息赋予在拍摄该图像信息时所照射的照明光的颜色并合成。由此生成白色光图像，将所生成的白色光图像经由显示方式设定部26发送给图像显示部6进行显示。
在白色光图像中的例如血管存在的区域内，在蓝色B2和绿色G2的波段存在吸收，因此血管显示为红色。此外，在脂肪存在的区域内，在蓝色B2中存在吸收，因此脂肪显示为黄色。然而，在脂肪组织极薄的情况下，位于脂肪组织的里侧的脏器的血管的颜色会透过，不易获悉脂肪组织的存在。
于是，在这种情况下，将滤镜转盘52的第1滤镜群F1移动到配置于来自氙灯12的光的光轴上的位置处，依次照射蓝色B1、绿色G1和红色R1的照明光，并由摄像元件27对照射各照明光时的观察对象部位上的反射光依次拍摄。
并且，与白色光图像摄影时同样地，将与各色的照明光对应的图像信息依次存储于存储器55中，在取得与蓝色B1、绿色G1和红色R1的3种照明光对应的图像信息的时刻，将3通道的图像信号发送给图像处理部17。
图像处理部17中的图像处理与第1实施方式同样。
这样，在使用单色CCD51依次取得3通道的图像信号的方式的情况下，与使用彩色CCD11同时取得3通道的图像信号的方式同样地，在特殊光观察模式下，能够将在脏器或结合组织等的其他组织的表面上薄薄存在的脂肪也明显地显示出来。
上述实施方式可如以下那样进行变形。
在上述实施方式中，光源部3利用氙灯12和滤镜转盘13而依次射出不同波段的光。作为第1变形例，如图16所示，可以配置为通过反射镜57和二向色镜58A、58B、58C能够将来自射出不同波段的光的多个发光二极管(LED)56A、56B、56C、56D的光射入到同一个光导线缆7。
在图16所示的例子中，准备了400～450nm、450～500nm、520～570nm和600～650nm的波段的4个发光二极管56A～56D。并且，在白色光观察模式下，如图17B所示，作为蓝色的照明光而使用400～500nm的发光二极管56A、56B发出的光，作为绿色的照明光而使用520～570nm的发光二极管56C发出的光，作为红色的照明光而使用600～650nm的发光二极管56D发出的光即可。另一方面，在特殊光观察模式下，如图17C所示，作为蓝色的照明光而使用450～500nm的发光二极管56B发出的光即可。
其结果是，与图1的活体观察装置1同样地，在特殊光观察模式下也能够将在脏器的表面薄薄地存在的脂肪明显地显示出来。图17A是与图2A相同的曲线图。
作为第2变形例，如图18所示可采用3CCD方式，其具有：颜色分解棱镜61，其将从被摄体返回的反射光分光为每个波段；以及对各波段的光进行拍摄的3个单色CCD62A、62B、62C。
颜色分解棱镜61按照图19B所示的透射率特性将来自被摄体的反射光分光为每个波段。图19A是与图2A相同的曲线图。此外，图19C是与图2C相同的曲线图。
这种情况下，也可以代替滤镜转盘13而具有滤镜63，该滤镜63通过直动机构14而能够在氙灯12发出的光的光轴上插脱。滤镜63如图19D所示使期望的3个波段的光透过而遮断其他波段的光。
并且，在白色光观察模式下滤镜63从光轴上退避，而在特殊光观察模式下滤镜63被插入到光轴上。并且，在合成部64将由各单色CCD62A～62C取得的图像3通道化且输出给图像处理部17。这样，与图1的活体观察装置1同样地，在特殊光观察模式下也能够使在脏器或结合组织等的其他组织的表面上薄薄地存在的脂肪明显地显示出来。
作为第3变形例，可具有切换观察倍率的倍率切换部(省略图示)，在将观察倍率切换为高倍率时切换为特殊光观察模式，而在切换为低倍率时切换为白色光观察模式。通过在高倍率观察时采用特殊光观察模式，由此能够在确认其他组织与脂肪之间的边界的同时进行精密的处置，而通过在低倍率观察时采用白色光观察模式，能够进行对所处置的部位整体的大致观察。
此外，在上述实施方式中，可靠度计算部25计算脂肪区域信息的可靠度，该脂肪区域信息表示通过阈值处理而提取脂肪图像信号的值充分大的局部区域并设定的脂肪区域。作为第4变形例，可靠度计算部25也可以计算表示画面整体中的脂肪区域的脂肪区域信息的可靠度。
例如，作为表示画面整体中的脂肪区域的脂肪区域信息的计算可靠度，使用每个脂肪区域信息的计算可靠度的平均值、中间值或最大值即可。此外，显示方式设定部26还可以进行根据表示画面整体中的脂肪区域的脂肪区域信息的计算可靠度来显示(告知)警告的加工处理。例如，在画面整体中脂肪检测的可靠度低的情况下，可以显示使手术人员获悉可靠度低的警告。
此外，在脂肪区域信息的计算可靠度低的情况下，控制部18也可以将光源部3的光源设定切换为白色光。白色光比特殊光明亮，因此与特定波段的照明光的情况相比，可由摄像元件11得到更为明亮的图像。因此，医师(手术人员)通过进行清洗血液等的适当处置，可易于去除使脂肪检测精度降低的妨碍要因。在切换为白色光的情况下，脂肪的辨认较为困难，因此停止脂肪检测处理即可。
以上，参照附图对本发明的各实施方式及其变形例进行了详细描述，然而具体的结构并不限于这些实施方式，还包括在不脱离本发明主旨的范围内的设计变更等。例如，本发明的活体观察装置1、50不限于内窥镜，还能够应用于在机器人手术中使用的活体观察装置等大范围观察活体的装置中。
标号说明
1、50 活体观察装置
3 光源部(照射部)
6 图像显示部(显示部)
9 摄影光学系统(摄像部)
17 图像处理装置(图像处理部)
18 控制部
26 显示方式设定部(显示方式加工部)
32 脂肪区域设定部(脂肪区域信息检测部)
34 血液区域设定部(血液区域信息检测部)
37 脂肪区域可靠度计算部(可靠度计算部)
SB3 脂肪区域信息检测步骤
SB7 可靠度计算步骤
SB9 显示方式加工步骤

Claims (11)

1.一种图像处理装置，其具有：
脂肪区域信息检测部，其检测表示活体组织图像中的脂肪所存在的脂肪区域的脂肪区域信息；
血液区域信息检测部，其检测表示所述活体组织图像中的血液所存在的血液区域的血液区域信息；
可靠度计算部，其根据由所述脂肪区域信息检测部检测出的脂肪区域信息以及由所述血液区域信息检测部检测出的血液区域信息，计算所述脂肪区域信息的可靠度；以及
显示方式加工部，其将由该可靠度计算部计算的计算可靠度比作为基准的基准可靠度低的所述脂肪区域信息所表示的所述脂肪区域加工为能够与周边区域区分开的显示方式。
2.根据权利要求1所述的图像处理装置，其中，
所述脂肪区域信息的SN比越大则所述计算可靠度越高，该SN比越小则所述计算可靠度越低。
3.根据权利要求1所述的图像处理装置，其中，
所述血液区域信息相对于所述脂肪区域信息的比例越小则所述计算可靠度越高，该比例越大则所述计算可靠度越低。
4.根据权利要求1至3中的任意一项所述的图像处理装置，其中，
所述显示方式加工部将由所述计算可靠度比所述基准可靠度低的所述脂肪区域信息表示的所述脂肪区域与所述周边区域相比进行强调显示。
5.根据权利要求1至3中的任意一项所述的图像处理装置，其中，
所述显示方式加工部与由所述计算可靠度比所述基准可靠度低的所述脂肪区域信息表示的所述脂肪区域相比，对所述周边区域进行强调显示。
6.根据权利要求1至3中的任意一项所述的图像处理装置，其中，
所述显示方式加工部向手术人员告知由所述计算可靠度比所述基准可靠度低的所述脂肪区域信息表示的所述脂肪区域。
7.根据权利要求4所述的图像处理装置，其中，
所述显示方式加工部向手术人员告知由所述计算可靠度比所述基准可靠度低的所述脂肪区域信息表示的所述脂肪区域。
8.根据权利要求5所述的图像处理装置，其中，
所述显示方式加工部向手术人员告知由所述计算可靠度比所述基准可靠度低的所述脂肪区域信息表示的所述脂肪区域。
9.一种活体观察装置，其具有：
照射部，其能够对活体组织照射照明光；
摄像部，其对由该照射部照射的所述照明光在所述活体组织处反射的反射光中的特定波段的反射光进行摄影而取得活体组织图像；
权利要求1至8中的任意一项所述的图像处理装置，其对由该摄像部取得的所述活体组织图像进行处理；以及
显示部，其显示由该图像处理装置进行处理后的所述活体组织图像。
10.根据权利要求9所述的活体观察装置，其中，
该活体观察装置具有控制部，该控制部在所述计算可靠度比所述基准可靠度低的情况下，作为对所述活体组织照射的照明光而使所述照射部产生白色光，使所述摄像部对在所述活体组织处反射的所述白色光本身的反射光进行摄影。
11.一种图像处理方法，其包括：
脂肪区域信息检测步骤，检测表示活体组织图像中的脂肪所存在的脂肪区域的脂肪区域信息；
血液区域信息检测步骤，检测表示所述活体组织图像中的血液所存在的血液区域的血液区域信息；
可靠度计算步骤，根据通过所述脂肪区域信息检测步骤检测出的脂肪区域信息以及通过所述血液区域信息检测步骤检测出的血液区域信息，计算所述脂肪区域信息的可靠度；以及
显示方式加工步骤，将通过该可靠度计算步骤计算的计算可靠度比基准可靠度低的所述脂肪区域信息所表示的所述脂肪区域加工为能够与周边区域进行区分的显示方式。
CN201580078515.6A 2015-04-06 2015-04-06 图像处理装置、活体观察装置和图像处理方法 Active CN107427198B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/060748 WO2016162925A1 (ja) 2015-04-06 2015-04-06 画像処理装置、生体観察装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN107427198A CN107427198A (zh) 2017-12-01
CN107427198B true CN107427198B (zh) 2019-05-07

Family

ID=57072218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580078515.6A Active CN107427198B (zh) 2015-04-06 2015-04-06 图像处理装置、活体观察装置和图像处理方法

Country Status (5)

Country Link
US (1) US20180033142A1 (zh)
JP (1) JP6490196B2 (zh)
CN (1) CN107427198B (zh)
DE (1) DE112015006295T5 (zh)
WO (1) WO2016162925A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6196900B2 (ja) * 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
JP6435275B2 (ja) * 2013-12-20 2018-12-05 オリンパス株式会社 内視鏡装置
WO2017073361A1 (ja) 2015-10-30 2017-05-04 ソニー株式会社 情報処理装置、情報処理方法、及び、内視鏡システム
WO2018235179A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
WO2018235178A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
WO2019172231A1 (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
GB2576574B (en) 2018-08-24 2023-01-11 Cmr Surgical Ltd Image correction of a surgical endoscope video stream
CN109752837B (zh) * 2019-02-02 2024-03-29 深圳市艾丽尔特科技有限公司 用于内窥镜的冷光源及采用该冷光源的内窥镜
JPWO2022014258A1 (zh) * 2020-07-17 2022-01-20
WO2024166307A1 (ja) * 2023-02-09 2024-08-15 オリンパスメディカルシステムズ株式会社 医療用装置、医療システム、医療用装置の作動方法、および、医療用装置の作動プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103565411A (zh) * 2012-07-25 2014-02-12 奥林巴斯株式会社 荧光观察装置
CN104066367A (zh) * 2012-01-31 2014-09-24 奥林巴斯株式会社 活体观察装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5512940A (en) * 1993-03-19 1996-04-30 Olympus Optical Co., Ltd. Image processing apparatus, endoscope image sensing and processing apparatus, and image processing method for performing different displays depending upon subject quantity
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
US5974338A (en) * 1997-04-15 1999-10-26 Toa Medical Electronics Co., Ltd. Non-invasive blood analyzer
US6983063B1 (en) * 2000-06-29 2006-01-03 Siemens Corporate Research, Inc. Computer-aided diagnosis method for aiding diagnosis of three dimensional digital image data
US7072501B2 (en) * 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
US6961454B2 (en) * 2001-10-04 2005-11-01 Siemens Corporation Research, Inc. System and method for segmenting the left ventricle in a cardiac MR image
EP1453430A4 (en) * 2001-11-09 2009-02-18 Cardio Optics Inc DIRECT REAL-TIME BILLING IN A HEART CATHETERIZATION
WO2003046833A2 (en) * 2001-11-24 2003-06-05 Image Analysis, Inc. Automatic detection and quantification of coronary and aortic calcium
IL162420A0 (en) * 2001-12-11 2005-11-20 C2Cure Inc Apparatus, method and system for intravascular ph otographic imaging
AU2003225508A1 (en) * 2002-05-17 2003-12-02 Pfizer Products Inc. Apparatus and method for statistical image analysis
WO2005000101A2 (en) * 2003-06-12 2005-01-06 University Of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
US8280482B2 (en) * 2004-04-19 2012-10-02 New York University Method and apparatus for evaluating regional changes in three-dimensional tomographic images
US7530947B2 (en) * 2004-05-28 2009-05-12 Olympus Corporation Lesion portion determining method of infrared observing system
US20070027362A1 (en) * 2005-07-27 2007-02-01 Olympus Medical Systems Corp. Infrared observation system
US20100160791A1 (en) * 2007-05-21 2010-06-24 Board Of Regents, The University Of Texas System Porcine biliary tract imaging
US20080306337A1 (en) * 2007-06-11 2008-12-11 Board Of Regents, The University Of Texas System Characterization of a Near-Infrared Laparoscopic Hyperspectral Imaging System for Minimally Invasive Surgery
JP2009153621A (ja) * 2007-12-25 2009-07-16 Olympus Corp 生体観察装置および内視鏡装置
JP5250342B2 (ja) * 2008-08-26 2013-07-31 富士フイルム株式会社 画像処理装置およびプログラム
CN102469976B (zh) * 2009-07-06 2015-02-18 皇家飞利浦电子股份有限公司 生理参数的可视化
JP2011131002A (ja) * 2009-12-25 2011-07-07 Fujifilm Corp 蛍光画像撮像装置
US8750615B2 (en) * 2010-08-02 2014-06-10 Case Western Reserve University Segmentation and quantification for intravascular optical coherence tomography images
JP5492030B2 (ja) * 2010-08-31 2014-05-14 富士フイルム株式会社 画像撮像表示装置およびその作動方法
EP2637553A2 (en) * 2010-11-12 2013-09-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
CA2866509A1 (en) * 2011-12-21 2013-06-27 Volcano Corporation Method for visualizing blood and blood-likelihood in vascular images
JP6071260B2 (ja) * 2012-06-13 2017-02-01 キヤノン株式会社 被検体情報取得装置および情報処理方法
EP2914164B1 (en) * 2012-11-02 2019-04-17 Koninklijke Philips N.V. System with photonic biopsy device for obtaining pathological information
US8977331B2 (en) * 2012-12-13 2015-03-10 General Electric Company Systems and methods for nerve imaging
US20140275891A1 (en) * 2013-03-13 2014-09-18 Cephalogics, LLC Optical tomography sensor and related apparatus and methods
JP5988907B2 (ja) * 2013-03-27 2016-09-07 オリンパス株式会社 内視鏡システム
WO2018179991A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104066367A (zh) * 2012-01-31 2014-09-24 奥林巴斯株式会社 活体观察装置
CN103565411A (zh) * 2012-07-25 2014-02-12 奥林巴斯株式会社 荧光观察装置

Also Published As

Publication number Publication date
DE112015006295T5 (de) 2017-11-30
CN107427198A (zh) 2017-12-01
JP6490196B2 (ja) 2019-03-27
WO2016162925A1 (ja) 2016-10-13
US20180033142A1 (en) 2018-02-01
JPWO2016162925A1 (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
CN107427198B (zh) 图像处理装置、活体观察装置和图像处理方法
US20200367818A1 (en) Devices, systems, and methods for tumor visualization and removal
JP6577877B2 (ja) 組織灌流を評価するための方法及びシステム
JP5616304B2 (ja) 電子内視鏡システム及び電子内視鏡システムの作動方法
JP6057921B2 (ja) 生体観察装置
JP5815426B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
WO2018180631A1 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
US20130006109A1 (en) Endoscope apparatus
JP6581984B2 (ja) 内視鏡システム
EP2754379A1 (en) Endoscope system and image display method
US10856805B2 (en) Image processing device, living-body observation device, and image processing method
US11510599B2 (en) Endoscope system, processor device, and method of operating endoscope system for discriminating a region of an observation target
US20180000334A1 (en) Biological observation apparatus
WO2018061434A1 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
US10467747B2 (en) Image analysis apparatus, imaging system, surgery support system, image analysis method, storage medium, and detection system
US10413619B2 (en) Imaging device
EP2767209A1 (en) Endoscope system and image generation method
CN109640781A (zh) 内窥镜系统
CN113520271A (zh) 一种甲状旁腺功能成像方法、系统及内镜
US20230190083A1 (en) Visualization system with real-time imaging function
CN111449611B (zh) 一种内窥镜系统及其成像方法
JP2001128925A (ja) 蛍光表示方法および装置
US10537225B2 (en) Marking method and resecting method
JP2015231576A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP3881143B2 (ja) 蛍光表示方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant