CN112601486A - 图像处理装置、图像处理方法、内窥镜系统和内窥镜观察方法 - Google Patents

图像处理装置、图像处理方法、内窥镜系统和内窥镜观察方法 Download PDF

Info

Publication number
CN112601486A
CN112601486A CN201880096660.0A CN201880096660A CN112601486A CN 112601486 A CN112601486 A CN 112601486A CN 201880096660 A CN201880096660 A CN 201880096660A CN 112601486 A CN112601486 A CN 112601486A
Authority
CN
China
Prior art keywords
color
image
image processing
living body
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880096660.0A
Other languages
English (en)
Other versions
CN112601486B (zh
Inventor
伊藤辽佑
庄野裕基
塚越贵之
谷川洋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112601486A publication Critical patent/CN112601486A/zh
Application granted granted Critical
Publication of CN112601486B publication Critical patent/CN112601486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/465—Conversion of monochrome to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6016—Conversion to subtractive colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)

Abstract

为了稳定地保持医生的诊断精度，并且容易视觉辨认生物体的微妙色调变化，图像处理装置(3)具备：参数运算部(32)，其根据对基准被摄体进行拍摄而得到的基准图像，运算通过颜色空间内的全等变换将在颜色空间内定义的与基准图像中包含的对象区域对应的颜色变换为无彩色的参数，该基准被摄体包含所拍摄的生物体的光学特性；和变换部(34)，其根据由参数运算部(32)运算出的参数在颜色空间对拍摄生物体而得到的彩色图像的颜色进行全等变换，该彩色图像由中心波长不同的至少2个波段的亮度信息构成。

Description

图像处理装置、图像处理方法、内窥镜系统和内窥镜观察方法
技术领域
本发明涉及图像处理装置、图像处理方法、内窥镜系统以及内窥镜观察方法。
背景技术
已知有生成强调胃粘膜萎缩而成的萎缩部等异常部与正常部的颜色差别的图像的医用图像处理装置(例如，参照专利文献1)。)。
专利文献1的医用图像处理装置在由多个颜色信息形成的特征空间中，将观察对象分布的第1范围、第2范围以及第3范围内的第2范围的坐标移动到低彩度的基准范围，并使第1范围及第3范围的至少一方移动。
在先技术文献
【专利文献】
专利文献1：日本特许第3121368号公报
发明内容
【发明要解决的问题】
但是，专利文献1的医用图像处理装置是进行仅强调图像内的特定的颜色而图像化的非线性变换的装置，强调生物体的特定的区域使掌握与本来微妙的色调变化对应的生物体的特性变化明显变得困难。在病变的诊断中，由于区分是否是对象区域的边界被极端地带有颜色差异地显示，所以难以诊断基于异常部的细微色调变化的性质。另外，是否是对象区域的边界是医生判断的，如果在装置侧任意地变化，则存在使医生的诊断不稳定的不良情况。
本发明的目的在于提供一种图像处理装置、图像处理方法、内窥镜系统以及内窥镜观察方法，能够稳定地保持医生的诊断精度，并且容易视觉辨认生物体的微妙的色调变化。
【用于解决问题的手段】
本发明的一个方式涉及图像处理装置，其具备：参数运算部，其根据对基准被摄体进行拍摄而得到的基准图像运算参数，该基准被摄体包含所拍摄的生物体的光学特性，该参数用于通过颜色空间中的全等变换，将在所述颜色空间内定义的与所述基准图像中包含的对象区域对应的颜色变换为无彩色；以及变换部，其根据由所述参数运算部运算出的所述参数，在所述颜色空间中对拍摄所述生物体而得到的彩色图像的颜色进行所述全等变换，该彩色图像由中心波长不同的至少2个波段的亮度信息构成。
根据本方式，由参数运算部根据对基准被摄体进行拍摄而得到的基准图像运算参数，该基准被摄体包含所拍摄的生物体的光学特性，该参数用于通过颜色空间中的全等变换，将在颜色空间内定义的基准图像内的对象区域的颜色变换为无彩色。然后，在变换部中，使用由参数运算部运算出的参数，对拍摄生物体而得到的彩色图像的颜色进行变换。在此，无彩色是指白、黑以及通过它们的混合得到的颜色，是包含各种浓度的灰色的颜色。
通过设定生物体中包含的对象区域，运算通过颜色空间内的全等变换而将设定的对象区域的颜色变换为无彩色的参数，所设定的对象区域以外的部位的颜色根据所运算的参数而移动到不同的颜色。由此，能够通过无彩色和有彩色的差异使所设定的对象区域和其以外的部位明显，并且不会使所设定的对象区域的颜色和所设定的对象区域以外的部位的颜色在颜色空间上的距离变化，因此能够防止产生极端的颜色差异。即，在医生诊断是否为对象区域的边界的情况下，能够稳定地保持诊断的精度，并且容易视觉辨认生物体的微妙的色调变化。
在上述方式中，上述变换部也可以对上述彩色图像的颜色进行上述颜色空间内的平移移动以及旋转移动中的至少一方的变换。
根据该结构，通过彩色图像的平移移动及旋转移动的任意一个，都能够不使设定的对象区域的颜色与设定的对象区域以外的部位的颜色在颜色空间上的距离变化地，将对象区域变换为无彩色，能够容易地视觉辨认生物体的微妙的色调变化。
另外，在上述方式中，所述基准被摄体可以是模拟所述生物体的光学特性的体模。
根据该结构，能够在通过对基准被摄体进行拍摄而取得的基准图像内简单地决定对象区域，能够迅速地求出在变换部中使用的参数，该基准被摄体由模拟生物体的光学特性的体模构成。
此外，根据该结构，即使进行摄像的摄像部改变，也能够稳定地进行在变换部中使用的参数的计算。另外，通过使用特性稳定的体模计算变换参数，还能够高精度地掌握生物体特性的时间变化。由此，能够更容易地进行医生对病状的观察和治疗后的过程观察。
另外，由于构成体模的成分的参数与体模的光学特性对应，所以可以根据基于使用该体模得到的在变换部中使用的参数而生成的图像，模拟地类推生物体的成分。因此，通过类推生物体的病理结构的变化，可以辅助医生的诊断。
并且，在上述方式中，所述对象区域可以是所述生物体所包含的正常部。
根据该结构，仅通过医生在基准图像内将正常部确定为对象区域，就能够迅速地求出在变换部中使用的参数。
并且，在上述方式中，所述基准被摄体也可以是所拍摄的所述生物体，所述基准图像也可以是包含所述生物体的正常部的图像。
并且，在上述方式中，所述对象区域可以是正常粘膜的血管相对少的区域。
另外，在上述方式中，所述对象区域可以是血管部。
并且，在上述方式中，所述对象区域可以是异常组织周围的正常粘膜。
另外，在上述方式中，所述对象区域可以是脂肪部。
另外，本发明的其他方式涉及图像处理装置，该图像处理装置具备处理器，该处理器根据对基准被摄体进行拍摄而得到的基准图像运算参数，该基准被摄体包含所拍摄的生物体的光学特性，该参数用于通过颜色空间中的全等变换，将在所述颜色空间内定义的与所述基准图像中包含的对象区域对应的颜色变换为无彩色；并且，该处理器根据运算出的所述参数，在所述颜色空间中对拍摄所述生物体而得到的彩色图像的颜色进行所述全等变换，该彩色图像由中心波长不同的至少2个波段的亮度信息构成。
并且，本发明的其他方式涉及图像处理方法，其中，根据对基准被摄体进行拍摄而得到的基准图像运算参数，该基准被摄体包含所拍摄的生物体的光学特性，该参数用于通过颜色空间中的全等变换，将在所述颜色空间内定义的与所述基准图像中包含的对象区域对应的颜色变换为无彩色，根据运算而得到的所述参数，在所述颜色空间中对拍摄所述生物体而得到的彩色图像的颜色进行所述全等变换，该彩色图像由中心波长不同的至少2个波段的亮度信息构成。
并且，本发明的其他方式涉及内窥镜系统，其具备：摄像部，其拍摄所述生物体，而取得所述彩色图像；和上述任意一项的图像处理装置，所述参数运算部根据由所述摄像部拍摄所述基准被摄体而得到的所述基准图像来运算所述参数，所述变换部对由所述摄像部取得的所述彩色图像的颜色进行变换。
在上述方式中，具有模拟所述生物体的光学特性的体模，所述基准被摄体可以是所述体模。
并且，本发明的其他方式涉及内窥镜观察方法，其中，通过内窥镜对包含生物体的光学特性的基准被摄体进行拍摄而取得基准图像，根据所取得的所述基准图像运算参数，该参数用于通过颜色空间内的全等变换，将在所述颜色空间内定义的所述基准图像中包含的对象区域的颜色变换为无彩色，通过所述内窥镜对所述生物体进行拍摄，而取得由中心波长不同的至少2个波段的亮度信息构成的彩色图像，根据通过运算而得到的所述参数，在所述颜色空间中对所取得的该彩色图像整体的颜色进行所述全等变换，显示全等变换后的图像。
在上述方式中，所述基准被摄体可以是模拟所述生物体的光学特性的体模。
另外，在上述方式中，所述体模也可以具有模拟所述生物体的形状。
并且，在上述方式中，所述体模可以配置在遮挡外部光的容器内，该容器具有能够供所述内窥镜插入的开口部。
发明的效果
根据本发明，能够稳定地保持医生的诊断精度，并且能够容易地视觉辨认生物体的微妙的色调变化。
附图说明
图1是示出本发明的一个实施方式的内窥镜系统和图像处理装置的框图。
图2是示出基于图1的图像处理装置的图像的显示例的图。
图3是示出在图2的图像中选择了参数设定模式的情况下的图像的显示例的图。
图4是示出通过通常的利用白色板的校准而设定的正常粘膜的颜色的位置的颜色空间的一例。
图5是示出通过图1的图像处理装置而设定的正常粘膜的颜色的位置的颜色空间。
图6是示出通过通常的利用白色板的校准而设定的生物体组织的颜色在颜色空间上的位置的一例的图。
图7是示出图6的基准图像内所包含的对象区域的颜色在颜色空间上的位置的一例的图。
图8是说明图1的图像处理装置进行的图像变换的一例的图。
图9是说明基于图1的内窥镜系统的内窥镜观察方法的流程图。
图10是示出内窥镜取得的图像的亮度分布的一例的图。
图11是示出通过图1的图像处理装置对图10的图像进行图像变换后的图像的亮度分布的一例的图。
图12是示出图1的图像的泛白防止处理后的图像的亮度分布的一例的图。
图13是示出在使用图1的图像处理装置的图像处理方法和内窥镜观察方法中使用的体模的一例的图。
图14是示出在使用图1的图像处理装置的图像处理方法和内窥镜观察方法中使用的体模的另一例的图。
图15是示出在使用图1的图像处理装置的图像处理方法和内窥镜观察方法中使用的体模的另一例的图。
具体实施方式
以下，参照附图说明本发明的一个实施方式的图像处理装置3、图像处理方法、内窥镜系统1以及内窥镜观察方法。
如图1所示，本实施方式的图像处理装置3配备在内窥镜系统1中。
如图1所示，本实施方式的内窥镜系统1具有：内窥镜(摄像部)2，其拍摄被摄体(生物体)来取得彩色图像(参照图2)C；图像处理装置3，其对由内窥镜2取得的彩色图像C进行处理；监视器4，其显示图像；以及输入部5，其使手术医生进行输入。输入部5是键盘、鼠标或者触摸屏等输入装置。
如图1所示，图像处理装置3具备控制部31、参数运算部32、存储部33、图像变换部(变换部)34和图像生成部35。控制部31、参数运算部32、图像变换部34和图像生成部35由处理器构成，存储部33由存储器构成。
图像生成部35生成显示在监视器4上的图像。
参数运算部32根据由内窥镜2取得的基准图像，运算用于在颜色空间内将在颜色空间内定义的与基准图像内的对象区域对应的颜色全等变换成无彩色的参数。这里，无彩色是指白、黑以及通过它们的混合而得到的颜色，是包含各种浓度的灰色的颜色。另外，本实施方式中的全等变换表示在欧几里得空间中不改变任意两点间的距离的变换。
存储部33存储由参数运算部32运算出的参数。
图像变换部34使用存储在存储部33中的参数对通过内窥镜2拍摄生物体而取得的彩色图像C进行图像变换。
控制部31基于来自输入部5的输入，控制图像生成部35、参数运算部32以及图像变换部34。例如，如图2所示，控制部31通过GUI，在监视器4上显示用于选择模式的按钮B1、B2，在手术医生操作输入部5而选择了任意一个按钮B1、B2的情况下，根据所选择的按钮B1、B2的内容进行控制。
具体地说，控制部31将通过内窥镜2取得的彩色图像C输入到图像生成部35，使彩色图像C包含在显示于监视器4的显示图像中，并且在显示图像中包含用于选择模式的按钮B1、B2。并且，控制部31在显示于监视器4上的参数设定模式的按钮B1被选择时，如图3所示，在监视器4上显示用于指定对象区域的指示器P。指示器P通过输入部5的操作，能够在显示于监视器4上的彩色图像C上移动到任意的位置，能够使手术医生指定所希望的区域作为对象区域。
另外，控制部31在由指示器P指定了对象区域时，将该对象区域在颜色空间上的颜色信息发送给参数运算部32。
参数运算部32运算用于将从控制部31发送来的颜色信息所表示的颜色在颜色空间内全等变换成无彩色的参数。运算出的参数被存储在存储部33中。
更具体而言，如图4所示，在通常的基于白色板的校准中，为了重视脏器内的粘膜的颜色再现性，使正常粘膜的颜色与浅红色对应。参数运算部32运算用于将该正常粘膜的颜色在颜色空间内如图5所示全等变换为白色(无彩色)的参数。在此，作为颜色空间，可以采用具有RGB、XYZ、CMY、Lab等任意颜色空间坐标的颜色空间。作为参数，可以举出所指定的对象区域在颜色空间上的颜色和无彩色的每个颜色空间坐标的差分系数。
即，如图6所示，在颜色空间内存在利用内窥镜2进行观察时能够取得的颜色的第1范围R1，在第1范围R1内存在基准图像所包含的颜色的第2范围R2。另外，如图7所示，在第2范围R2内存在表示对象区域的第3范围R3。通过将如下参数应用于第1范围R1整体，能够使第1范围整体、即彩色图像的颜色整体如图8所示那样平行移动，该参数用于使第3范围R3的重心全等变换为位于颜色空间的原点的白色。
然后，当通过输入部5的操作选择了显示在监视器4上的观察模式的按钮B2时，控制部31将由内窥镜2依次取得的彩色图像C送到图像变换部34，图像变换部34进行使用在存储部33中存储的参数使彩色图像C的颜色整体平行移动的变换处理。变换处理后的图像被送到图像生成部35，包含在显示图像中。作为显示图像，可以采用变换处理后的彩色图像C来代替由内窥镜2取得的彩色图像C，也可以与由内窥镜2取得的彩色图像C并列地显示变换处理后的彩色图像C。
下面说明使用这样构成的本实施方式的内窥镜系统1进行患者的脏器内的观察的内窥镜观察方法以及使用上述图像处理装置3的图像处理方法。
本实施方式的内窥镜观察方法如图9所示，手术医生将内窥镜2插入患者的脏器内，通过内窥镜2取得脏器的内表面的图像(步骤S1)，将所取得的图像显示在监视器4上(步骤S2)。手术医生一边观察所取得的图像一边操作内窥镜2，将内窥镜2配置在包含正常粘膜的视野范围内(步骤S3)。在该状态下，通过输入部5选择参数设定模式(步骤S4)，通过显示在监视器4上的指示器P在彩色图像C上指定正常粘膜的区域(对象区域)(步骤S5)。
由此，正常粘膜的每个颜色空间坐标的颜色信息被输入到参数运算部32。在参数运算部32中，通过计算输入来的正常粘膜的颜色信息和无彩色的颜色信息的差分，计算参数(步骤S6)。计算出的参数被存储在存储部33中(步骤S7)。在存在已经存储的参数的情况下，更新参数。
在该状态下，当手术医生操作输入部5来选择观察模式(步骤S8)时，由内窥镜2取得的图像逐次被输入到图像变换部34，在图像变换部34中，使用在存储部33中存储的参数进行彩色图像C的变换处理(步骤S9)，在监视器4上显示变换处理后的图像(步骤S10)。然后，反复从步骤S9起的过程，直到由手术医生输入观察模式的结束为止(步骤S11)。
在参数运算部32中运算出的参数用于将脏器内的正常粘膜的颜色变换为无彩色，因此当使用该参数对脏器的彩色图像C整体进行变换时，彩色图像C内的正常粘膜的部分被变换为无彩色，其他部分被变换成无彩色以外的颜色。即，在脏器的彩色图像C中，虽然正常粘膜的颜色和异常部的颜色存在若干差异，但都是红色系，难以区分，但是通过使用上述参数进行变换，颜色的微小差异也表现为无彩色和有彩色的差异，能够明确地识别两者的边界。
进而，根据本实施方式，不是仅强调彩色图像C内的特定的颜色来进行图像化的非线性变换，而是将异常部与正常部(基准被摄体)在颜色空间上的距离保持不变地使彩色图像整体C移位，因此具有如下优点：在异常部与正常部的边界不会产生极端的色差，能够稳定地维持医生的诊断精度，并且容易视觉辨认生物体的微妙的色调变化。
另外，在本实施方式中，设为使手术医生指定基准图像内的对象区域，但也可以取而代之，在颜色空间内将构成基准图像的颜色的频度分布的例如重心点或中心点自动设定为对象区域的颜色。此时，作为基准图像，优选使用在认为视野范围内仅存在正常粘膜的状态下取得的图像。
另外，在本实施方式中，设为使彩色图像C整体的颜色在颜色空间内平行移动(平移移动)，但也可以取而代之或在此基础上，使彩色图像C整体的颜色在颜色空间内旋转移动。由此，能够在维持异常部与正常部之间的距离的同时，将正常部变换为无彩色，明确异常部与正常部的边界。
另外，通过指定对象区域，使用所指定的对象区域的颜色来计算参数，但也可以取而代之，跟踪一次指定的对象区域的位置，逐次进行参数的更新。
另外，作为对象区域例示了正常粘膜，但只要是希望强调色调差的区域，也可以指定任意的区域。例如，即使指定的区域是正常粘膜，通过指定血管少的区域，也能够进一步强调血管。如果指定血管部分，则没有血管的粘膜组织部分的微妙的状态的差异，例如肥厚状态的差异作为颜色的变化被描绘。并且，也可以用于强调组织的差异而不强调病变部等异常部。例如，通过指定瘢痕化的组织(异常组织)周围的正常粘膜，来强调瘢痕化组织。进而，在希望协调神经膜组织与脂肪组织(脂肪部)的差异时，只要计算将脂肪组织变换为无彩色的参数即可。
例如，在通常的校准中，在神经膜组织具有白色、脂肪具有黄色、血液具有红色的情况下，具有图10所示的亮度分布。在该情况下，如果通过使作为原本暗的部分的脂肪成为无彩色(白色)的参数对整体进行图像变换，则如图11所示，原本明亮的神经膜组织泛白。即，蓝色饱和。在该情况下，如图12所示，通过在颜色空间上与蓝色超过最大灰度的量相应地将绿色及红色的灰度降低，能够连续地不泛白地进行色的变换。
并且，在本实施方式中，设为取得实际的脏器的内表面的图像，使手术医生指定认为是正常粘膜的对象区域，但是，也可以取而代之，设为对体模F进行拍摄而取得对象区域的颜色，该体模F是模仿生物体的光学特性的被摄体(基准被摄体)。
作为体模F，例如使用通过在树脂中混炼成为散射体的散射粒子及吸收色素而制成的体模即可。根据这样的体模F，能够调整散射粒子和吸收色素的浓度，以使照射光时的反射光量和透射光量与观察对象的生物体组织同等。另外，通过调整散射粒子的粒子尺寸，可以将散射光的扩散调整为与成为观察对象的生物体组织同等。
并且，即使进行摄像的内窥镜2改变，也能够稳定地进行在图像变换部34中使用的参数的计算。另外，通过使用特性稳定的体模F来计算变换参数，还能够高精度地掌握生物体特性的时间变化。由此，能够更容易地进行医生对病状的观察和治疗后的过程观察。
此外，由于构成体模F的成分的参数与体模F的光学特性对应，所以根据基于使用体模F得到的在图像变换部34中使用的参数而生成的图像，能够模拟地类推生物体的成分。因此，通过类推生物体的病理结构的变化，可以辅助医生的诊断。
另外，作为体模F也可以采用以下方式。
优选从内窥镜2发出的光所照射的面为平滑的面。由此，能够抑制来自体模表面的漫反射。
并且，如图13所示，优选从内窥镜2发出的光所照射的面具有与成为观察对象的生物体组织的形状类似的形状。由此，与实际的生物体组织同样，能够考虑组织内部的散射的影响来进行颜色的变换。
此外，如图14所示，也可以将体模F收容在遮断外部光的容器6内，在容器6中设置能够插入内窥镜2的开口部7。由此，能够实现对遮断了外部光的现实的体内环境进行模仿的环境而进行颜色的变换。
并且，如图15所示，在遮挡外部光的容器6内配置的体模F也可以具有与成为观察对象的生物体组织的形状类似的形状。以膀胱那样的球形状或者消化道那样的圆筒形状为代表，实际的脏器具有立体的内表面形状。因此，可以在与生物体组织的形状类似的形状的整体上配置由均匀的材质构成的体模F。由此，能够考虑由实际观察时的内窥镜2与体模F的距离和角度引起的色调偏差来进行颜色变换。
标号说明
1 内窥镜系统
2 内窥镜(摄像部)
3 图像处理装置
6 容器
7 开口部
31 控制部(处理器)
32 参数运算部(处理器)
34 图像变换部(变换部，处理器)
35 图像生成部(处理器)
C 彩色图像
F 体模(基准被摄体)
R3 第3范围(对象区域)

Claims (17)

1.一种图像处理装置，其具备：
参数运算部，其根据对基准被摄体进行拍摄而得到的基准图像运算参数，该基准被摄体包含所拍摄的生物体的光学特性，该参数用于通过颜色空间中的全等变换，将在所述颜色空间内定义的与所述基准图像中包含的对象区域对应的颜色变换为无彩色；以及
变换部，其根据由所述参数运算部运算出的所述参数，在所述颜色空间中对拍摄所述生物体而得到的彩色图像的颜色进行所述全等变换，该彩色图像由中心波长不同的至少2个波段的亮度信息构成。
2.根据权利要求1所述的图像处理装置，其中，
所述变换部对所述彩色图像的颜色进行所述颜色空间中的平移移动和旋转移动中的至少一方的变换。
3.根据权利要求1所述的图像处理装置，其中，
所述基准被摄体是模拟所述生物体的光学特性的体模。
4.根据权利要求1所述的图像处理装置，其中，
所述对象区域是所述生物体中包含的正常部。
5.根据权利要求1所述的图像处理装置，其中，
所述基准被摄体是所拍摄的所述生物体，
所述基准图像是包含所述生物体的正常部的图像。
6.根据权利要求1所述的图像处理装置，其中，
所述对象区域是正常粘膜的血管相对少的区域。
7.根据权利要求1所述的图像处理装置，其中，
所述对象区域是血管部。
8.根据权利要求1所述的图像处理装置，其中，
所述对象区域是异常组织周围的正常粘膜。
9.根据权利要求1所述的图像处理装置，其中，
所述对象区域是脂肪部。
10.一种图像处理装置，其中，
该图像处理装置具备处理器，
该处理器根据对基准被摄体进行拍摄而得到的基准图像运算参数，该基准被摄体包含所拍摄的生物体的光学特性，该参数用于通过颜色空间中的全等变换，将在所述颜色空间内定义的与所述基准图像中包含的对象区域对应的颜色变换为无彩色；并且，该处理器根据运算出的所述参数，在所述颜色空间中对拍摄所述生物体而得到的彩色图像的颜色进行所述全等变换，该彩色图像由中心波长不同的至少2个波段的亮度信息构成。
11.一种图像处理方法，其中，
根据对基准被摄体进行拍摄而得到的基准图像运算参数，该基准被摄体包含所拍摄的生物体的光学特性，该参数用于通过颜色空间中的全等变换，将在所述颜色空间内定义的与所述基准图像中包含的对象区域对应的颜色变换为无彩色，
根据运算而得到的所述参数，在所述颜色空间中对拍摄所述生物体而得到的彩色图像的颜色进行所述全等变换，该彩色图像由中心波长不同的至少2个波段的亮度信息构成。
12.一种内窥镜系统，其具备：
摄像部，其拍摄所述生物体而取得所述彩色图像；和
权利要求1至9中的任意一项所述的图像处理装置，
所述参数运算部根据由所述摄像部拍摄所述基准被摄体而得到的所述基准图像来运算所述参数，
所述变换部对由所述摄像部取得的所述彩色图像的颜色进行变换。
13.根据权利要求12所述的内窥镜系统，其中，
所述内窥镜系统具有模拟所述生物体的光学特性的体模，
所述基准被摄体是所述体模。
14.一种内窥镜观察方法，其中，
通过内窥镜对包含生物体的光学特性的基准被摄体进行拍摄而取得基准图像，
根据所取得的所述基准图像运算参数，该参数用于通过颜色空间内的全等变换，将在所述颜色空间内定义的所述基准图像中包含的对象区域的颜色变换为无彩色，
通过所述内窥镜对所述生物体进行拍摄，而取得由中心波长不同的至少2个波段的亮度信息构成的彩色图像，
根据通过运算而得到的所述参数，在所述颜色空间中对所取得的该彩色图像整体的颜色进行所述全等变换，
显示全等变换后的图像。
15.根据权利要求14所述的内窥镜观察方法，其中，
所述基准被摄体是模拟所述生物体的光学特性的体模。
16.根据权利要求15所述的内窥镜观察方法，其中，
所述体模具有模拟所述生物体的形状。
17.根据权利要求15所述的内窥镜观察方法，其中，
所述体模配置在遮挡外部光的容器内，该容器具有能够供所述内窥镜插入的开口部。
CN201880096660.0A 2018-10-22 2018-10-22 图像处理装置、图像处理方法、内窥镜系统和内窥镜观察方法 Active CN112601486B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/039131 WO2020084651A1 (ja) 2018-10-22 2018-10-22 画像処理装置、画像処理方法、内視鏡システムおよび内視鏡観察方法

Publications (2)

Publication Number Publication Date
CN112601486A true CN112601486A (zh) 2021-04-02
CN112601486B CN112601486B (zh) 2024-05-24

Family

ID=70331026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096660.0A Active CN112601486B (zh) 2018-10-22 2018-10-22 图像处理装置、图像处理方法、内窥镜系统和内窥镜观察方法

Country Status (4)

Country Link
US (1) US11793391B2 (zh)
JP (1) JP7053873B2 (zh)
CN (1) CN112601486B (zh)
WO (1) WO2020084651A1 (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041744A (ja) * 2004-07-23 2006-02-09 M & C:Kk 画像処理装置及び画像処理方法
CN101623189A (zh) * 2008-07-08 2010-01-13 奥林巴斯医疗株式会社 胶囊型医疗装置引导系统
CN101827214A (zh) * 2009-03-05 2010-09-08 卡西欧计算机株式会社 图像处理装置及图像处理方法
JP2012071007A (ja) * 2010-09-29 2012-04-12 Fujifilm Corp 内視鏡装置
CN102551642A (zh) * 2010-12-13 2012-07-11 富士胶片株式会社 内窥镜装置
CN104470416A (zh) * 2012-07-17 2015-03-25 Hoya株式会社 图像处理装置和内窥镜装置
CN104434000A (zh) * 2013-09-23 2015-03-25 富士胶片株式会社 内窥镜系统和内窥镜系统的工作方法
US20150379698A1 (en) * 2014-06-27 2015-12-31 Fujifilm Corporation Medical image processing device, method for operating the same, and endoscope system
US20160220108A1 (en) * 2015-01-30 2016-08-04 Canon Kabushiki Kaisha Ophthalmologic apparatus, image processing method, and medium
JP2016198890A (ja) * 2015-04-07 2016-12-01 三豊化成株式会社 プリプレグの中間体、プリプレグ及びその製造方法、並びにプリプレグを用いた成形品及びその製造方法
JP2016206301A (ja) * 2015-04-17 2016-12-08 キヤノン株式会社 情報処理装置、画像の表示方法、コンピュータプログラム、及び記憶媒体
US20170020377A1 (en) * 2014-04-08 2017-01-26 Olympus Corporation Fluorescence observation endoscope system
JP2017029549A (ja) * 2015-08-04 2017-02-09 国立大学法人佐賀大学 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
JP2017070609A (ja) * 2015-10-09 2017-04-13 サイバネットシステム株式会社 画像処理装置及び画像処理方法
US20170243325A1 (en) * 2014-11-19 2017-08-24 Olympus Corporation Image processing apparatus, image processing method, computer-readable recording medium, and endoscope apparatus
JP2017200601A (ja) * 2017-07-04 2017-11-09 富士フイルム株式会社 内視鏡装置
CN108014424A (zh) * 2017-12-29 2018-05-11 深圳开立生物医疗科技股份有限公司 一种内窥镜装置
JP2018126632A (ja) * 2018-05-25 2018-08-16 Hoya株式会社 画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS645525A (en) 1987-06-29 1989-01-10 Toshiba Corp White balance control apparatus of endoscope
JP3121368B2 (ja) 1991-05-01 2000-12-25 株式会社リコー シート原稿読取装置
JP2006271871A (ja) 2005-03-30 2006-10-12 Olympus Medical Systems Corp 内視鏡用画像処理装置
JP5244455B2 (ja) * 2008-05-21 2013-07-24 Ｈｏｙａ株式会社 内視鏡プロセッサおよび内視鏡システム
JP5885652B2 (ja) 2012-12-27 2016-03-15 株式会社東芝 撮像装置、内視鏡装置、及び生体パターン強調処理方法
JP6113116B2 (ja) * 2014-03-31 2017-04-12 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041744A (ja) * 2004-07-23 2006-02-09 M & C:Kk 画像処理装置及び画像処理方法
CN101623189A (zh) * 2008-07-08 2010-01-13 奥林巴斯医疗株式会社 胶囊型医疗装置引导系统
CN101827214A (zh) * 2009-03-05 2010-09-08 卡西欧计算机株式会社 图像处理装置及图像处理方法
JP2012071007A (ja) * 2010-09-29 2012-04-12 Fujifilm Corp 内視鏡装置
CN102551642A (zh) * 2010-12-13 2012-07-11 富士胶片株式会社 内窥镜装置
CN104470416A (zh) * 2012-07-17 2015-03-25 Hoya株式会社 图像处理装置和内窥镜装置
CN104434000A (zh) * 2013-09-23 2015-03-25 富士胶片株式会社 内窥镜系统和内窥镜系统的工作方法
US20170020377A1 (en) * 2014-04-08 2017-01-26 Olympus Corporation Fluorescence observation endoscope system
US20150379698A1 (en) * 2014-06-27 2015-12-31 Fujifilm Corporation Medical image processing device, method for operating the same, and endoscope system
US20170243325A1 (en) * 2014-11-19 2017-08-24 Olympus Corporation Image processing apparatus, image processing method, computer-readable recording medium, and endoscope apparatus
US20160220108A1 (en) * 2015-01-30 2016-08-04 Canon Kabushiki Kaisha Ophthalmologic apparatus, image processing method, and medium
JP2016198890A (ja) * 2015-04-07 2016-12-01 三豊化成株式会社 プリプレグの中間体、プリプレグ及びその製造方法、並びにプリプレグを用いた成形品及びその製造方法
JP2016206301A (ja) * 2015-04-17 2016-12-08 キヤノン株式会社 情報処理装置、画像の表示方法、コンピュータプログラム、及び記憶媒体
JP2017029549A (ja) * 2015-08-04 2017-02-09 国立大学法人佐賀大学 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
JP2017070609A (ja) * 2015-10-09 2017-04-13 サイバネットシステム株式会社 画像処理装置及び画像処理方法
JP2017200601A (ja) * 2017-07-04 2017-11-09 富士フイルム株式会社 内視鏡装置
CN108014424A (zh) * 2017-12-29 2018-05-11 深圳开立生物医疗科技股份有限公司 一种内窥镜装置
JP2018126632A (ja) * 2018-05-25 2018-08-16 Hoya株式会社 画像処理装置

Also Published As

Publication number Publication date
CN112601486B (zh) 2024-05-24
JP7053873B2 (ja) 2022-04-12
WO2020084651A1 (ja) 2020-04-30
US11793391B2 (en) 2023-10-24
JPWO2020084651A1 (ja) 2021-09-24
US20210174510A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
EP3269295B1 (en) Image processing device
US10231600B2 (en) Image processing apparatus
US11116384B2 (en) Endoscope system capable of image alignment, processor device, and method for operating endoscope system
WO2014168128A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
US11978184B2 (en) Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method
WO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6448509B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2016158682A (ja) 画像処理装置
WO2017077772A1 (ja) プロセッサ装置、内視鏡システム、及び画像処理方法
US20240296548A1 (en) Endoscope system, method for activating endoscope system, and image processing apparatus
CN107405050B (zh) 内窥镜系统以及评价值计算装置
JP2008093225A (ja) 内視鏡システム及び内視鏡システムにおける画像処理方法
US11363943B2 (en) Endoscope system and operating method thereof
CN112601486B (zh) 图像处理装置、图像处理方法、内窥镜系统和内窥镜观察方法
JPH01138876A (ja) カラー画像処理装置
WO2021095446A1 (ja) 情報表示システムおよび情報表示方法
Cheng Color Performance Review (CPR): A Color Performance Analyzer for Endoscopy Devices
JP7447821B2 (ja) 医療機器用色修正装置
CN117934304A (zh) 图像融合处理系统、方法、装置、设备和存储介质
CN117956939A (zh) 计算机程序、学习模型的生成方法、以及信息处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant