CN103561627B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN103561627B
CN103561627B CN201280026068.6A CN201280026068A CN103561627B CN 103561627 B CN103561627 B CN 103561627B CN 201280026068 A CN201280026068 A CN 201280026068A CN 103561627 B CN103561627 B CN 103561627B
Authority
CN
China
Prior art keywords
image
multiplying
top layer
observation
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280026068.6A
Other languages
English (en)
Other versions
CN103561627A (zh
Inventor
三田村元裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103561627A publication Critical patent/CN103561627A/zh
Application granted granted Critical
Publication of CN103561627B publication Critical patent/CN103561627B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414—Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/418—Evaluating particular organs or parts of the immune or lymphatic systems lymph vessels, ducts or nodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Vascular Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

向观察者提示在可掌握具有三维构造的观察对象的深层构造的同时可容易地识别表层观察对象的二维图像。提供一种图像处理装置（100），其具有：存储部（103），其对被检体内的观察对象的三维图像进行存储；投影图像生成部（104），其被输入对被检体的表层的观察对象进行拍摄而得到的二维表层图像的摄像位置和摄像方向，并将存储部（103）所存储的三维图像的与摄像位置对应的位置投影到摄像方向来生成二维的投影图像；以及乘法运算处理部（105），其被输入表层图像和投影图像，对表层图像和投影图像的对应的像素的亮度值进行乘法运算来生成乘法运算图像。

Description

图像处理装置
技术领域
本发明涉及图像处理装置。
背景技术
以往公知有如下的观察系统：在通过内窥镜取得的淋巴管和淋巴结的二维图像上重叠显示将通过CT（计算机断层摄影）装置取得的淋巴管、淋巴结和血管的三维图像二维化后的图像（例如参照专利文献1。）。CT图像适于观察体内组织的大致三维构造。内窥镜图像适于观察体内组织表面的详细构造。即，根据专利文献1的系统，能够在大致掌握深层的淋巴管、淋巴结和血管的构造的同时，详细观察表层的淋巴管和淋巴结。
现有技术文献
专利文献
专利文献1：日本特开2007-244746号公报
发明内容
发明所要解决的课题
但是，在专利文献1的系统的情况下，在将三维图像进行了二维化时，丢失三维图像所包含的深度方向的位置信息，二维图像在同一面内一样地显示存在于不同深度位置的淋巴管和淋巴结。因此，存在如下问题：观察者无法在重叠后的图像中识别存在于组织表层的淋巴管和淋巴结与存在于组织深层的淋巴管和淋巴结。
此外，在内窥镜下对组织的表层进行处置的情况下，对于观察者而言，组织表层的淋巴管和淋巴结的信息比较重要，但与这些同样显示的深层的淋巴管和淋巴结的像对于观察者而言比较麻烦，存在向观察者不必要地提供烦杂的图像的问题。
本发明就是鉴于上述情况而完成的，其目的在于提供一种图像处理装置，能够向观察者提示在可掌握具有三维构造的观察对象的深层构造的同时可容易地识别表层观察对象的二维图像。
用于解决课题的手段
为了达到上述目的，本发明提供以下手段。
本发明提供一种图像处理装置，其具有：存储部，其对存在于被检体的观察对象的三维图像进行存储；投影图像生成部，其被输入对所述被检体的表层的所述观察对象进行拍摄而得到的二维的表层图像的摄像位置和摄像方向，并将所述存储部所存储的所述三维图像的与所述摄像位置对应的位置投影到所述摄像方向来生成二维的投影图像；以及乘法运算处理部，其被输入所述表层图像和通过所述投影图像生成部生成的投影图像，对所述表层图像和所述投影图像的对应的像素的亮度值进行乘法运算来生成乘法运算图像。
根据本发明，当拍摄存在于被摄体的观察对象的表层图像，并将该表层图像和其在被摄体中的摄像位置和摄像方向分别输入到乘法运算处理部或投影图像生成部时，投影图像生成部根据存储部所存储的三维图像生成与表层图像对应的视野的投影图像，乘法运算处理部根据投影图像和表层图像生成乘法运算图像。
该情况下，在所生成的乘法运算图像中，表层图像和投影图像的两方中共同的亮部与暗部的亮度值之差扩大。即，通过使用观察对象均显示为亮部或暗部的图像作为表层图像和投影图像，相对于仅显示在投影图像中的被摄体的深层的观察对象强调显示在表层图像和投影图像中共同显示的被摄体表层的观察对象。由此，观察者能够在乘法运算图像中容易地识别表层的观察对象，并且还能够根据二维的乘法运算图像掌握观察对象的深层构造。
在上述发明中，所述乘法运算处理部可以将对所述表层图像的亮度值加上或乘以系数后的积用于乘法运算。
由此，在乘法运算图像中，能够更强地强调显示存在于表层的观察对象。
在上述发明中，所述乘法运算处理部可以用与各像素的亮度值对应的明度或饱和度显示所述乘法运算图像的各像素。
由此，观察者能够根据乘法运算图像的各像素的明度或饱和度，更容易地识别观察对象的深度方向的位置。
在上述发明中，可以是具有重叠处理部的结构，所述重叠处理部被输入所述被检体的白色光图像，在该白色光图像中重叠由所述乘法运算处理部生成的乘法运算图像来生成重叠图像。
由此，观察者能够在重叠图像中与被检体的表面形状对应地对观察对象进行观察。
在上述结构中，所述乘法运算处理部可以使用显示多个观察对象的图像作为所述表层图像和所述投影图像，所述重叠处理部以不同的显示方式将所述多个观察对象重叠到所述白色光图像。
由此，例如，通过根据对于观察者而言的重要度等使多个观察对象的显示方式不同，观察者能够根据重叠图像同时观察多个观察对象。
在上述发明中，所述表层图像可以是荧光图像。
由此，能够使用观察对象显示为亮部的二维图像作为表层图像。
在上述发明中，所述表层图像可以是窄带光图像。
由此，能够使用观察对象显示为亮部、且从表层拍摄到一定深的位置为止的图像作为表层图像。
发明的效果
根据本发明，起到如下效果：能够向观察者提示在可掌握具有三维构造的观察对象的深层构造的同时可容易地识别表层观察对象的二维图像。
附图说明
图1是具有本发明一个实施方式的图像处理装置的内窥镜系统的整体结构图。
图2是示出图1的图像处理部的功能的框图。
图3是说明图2的图像处理部的图像处理方法的图，（a）示出了投影图像，（b）示出了荧光图像，（c）示出了乘法运算图像，（d）示出了白色光图像，（e）示出了重叠图像。
具体实施方式
下面，参照附图对本发明一个实施方式的图像处理装置100进行说明。
如图1所示，在内窥镜系统1中具备本实施方式的图像处理装置100作为图像处理部（以下也称作图像处理部100。）。
内窥镜系统1具备：在前端具有物镜光学系统21的细长的插入部2；经由该插入部2向被检体X以时分方式照射白色光和激励光的照明单元3；设置于插入部2的前端的位置传感器4；以及配置于插入部2的基端侧且生成和处理图像的控制单元5。在本实施方式中，图像处理部100配备于控制单元5。
插入部2具有：会聚来自作为被检体X的活体内的组织表层的光并引导至摄像元件51（后述）的物镜光学系统21；以及配置于该物镜光学系统21与摄像元件51之间的光路的中途位置的第1滤光片转台22。第1滤光片转台22具有使白色光选择性地透过的白色光滤光片和使荧光选择性地透过的荧光滤光片，通过旋转而在白色光与荧光之间对引导至摄像元件51的光进行切换。
照明单元3具有：光源31；从该光源31发射的光中提取白色光和激励光中的一方的第2滤光片转台32；会聚通过第2滤光片转台32提取出的光的耦合透镜33；配置于插入部2的长度方向的大致全长范围内的光导纤维34；以及设置于插入部2的前端的照明光学系统35。
第2滤光片转台32具有使白色光（波段400nm至740nm）选择性透过的白色光滤光片；以及使具有荧光色素的激励波长的激励光选择性透过的激励滤光片。第2滤光片转台32通过旋转而在白色光与激励光之间对引导至光导纤维34的光进行切换。由第2滤光片转台32提取并由耦合透镜33会聚的光在通过光导纤维34在插入部2内被引导后，由照明光学系统35扩散并被照射到被检体X。
在本实施方式中，通过将吲哚菁绿（ICG）混合到被检体的淋巴液中，将淋巴管和淋巴结（以下将两者合称作淋巴管。）作为观察对象来观察荧光图像G2。ICG的激励波长为680nm至780nm，发光波长为830nm。即，激励滤光片使波长680nm至780nm的光作为激励光透过，荧光滤光片使波长830nm附近的光作为荧光透过。
位置传感器4例如具有3轴陀螺仪传感器和3轴加速度传感器。位置传感器4检测3轴方向的位置和角度相对于基准位置和基准方向的变化量，并对检测出的各方向的变化量进行累积。由此，位置传感器4计算相对于基准位置和基准方向的插入部2前端的当前位置和当前方向，即通过摄像元件（后述）51拍摄的图像的摄像位置和摄像方向。位置传感器4的基准位置和基准方向能够通过操作者的操作设定为任意的位置和方向。位置传感器4将计算出的当前位置和当前方向输出到图像处理部100内的投影图像生成电路104（后述）。
控制单元5具有：拍摄白色光和荧光来生成图像数据的摄像元件51；切换白色光图像的生成和荧光图像的生成的定时控制部52；以及将通过图像处理部100生成的图像输出到监视器6的显示控制部53。
定时控制部52具有白色光模式和荧光模式。在白色光模式下，定时控制部52以将白色光滤光片配置在光路上的方式使第1和第2滤光片转台22、32旋转，并从摄像元件51将图像数据输出到图像处理部100内的白色光图像生成电路101（后述）。在荧光模式下，定时控制部52以将激励滤光片和荧光滤光片配置在光路上的方式使第1和第2滤光片转台22、32旋转，并从摄像元件51将图像数据输出到荧光图像生成电路102（后述）。定时控制部52以足够短的时间间隔交替切换这两个模式。由此，图像处理部100以足够短的时间间隔交替生成白色光图像G1和荧光图像G2。
显示控制部53以在1秒内以恒定的时间间隔将预定数量的重叠图像G5（后述）显示在监视器6上的方式，在预定的定时将重叠图像G5输出到监视器6。
如图2所示，图像处理部100具有：生成白色光图像G1的白色光图像生成电路101；生成荧光图像G2的荧光图像生成电路102；对通过三维观察装置拍摄的被检体的三维图像进行存储的三维图像存储电路（存储部）103；根据三维图像存储电路103所存储的三维图像生成二维的投影图像G3的投影图像生成电路104；对投影图像G3和荧光图像G2的亮度值进行乘法运算来生成乘法运算图像G4的乘法运算处理电路（乘法运算处理部）105；以及将乘法运算图像G4重叠到白色光图像G1来生成重叠图像G5的重叠处理电路（重叠处理部）106。图3是说明图像处理部100进行的图像处理方法的概念图。
白色光图像生成电路101根据从摄像元件51输入的白色光的图像数据生成白色光图像G1，并将所生成的白色光图像G1（参照图3中的（d）。）输出到重叠处理电路106。
荧光图像生成电路102根据从摄像元件51输入的荧光的图像数据生成荧光图像（表层图像。参照图3中的（b）。）G2，并将所生成的荧光图像G2输出到乘法运算处理电路105。在荧光图像G2内，将作为观察对象的组织表层的淋巴管A1显示为荧光区域，即亮部。
三维图像存储电路103对通过CT装置等三维观察装置取得的活体内部的淋巴管的三维图像进行了存储。该三维图像是例如在淋巴液中投放造影剂并拍摄而得到的，淋巴管被显示为亮部。
投影图像生成电路104基于从位置传感器4输入的插入部2前端的当前位置和当前方向，根据三维图像存储电路103所存储的三维图像，生成与当前通过摄像元件51拍摄的荧光图像G2对应的投影图像G3（参照图3中的（a）。）。
具体而言，例如在操作者将插入部2的前端从形成于体表面的孔插入到体内时，在孔的入口处朝向该孔内配置了插入部2前端的状态下，将插入部2前端的位置和方向设定为基准位置和基准方向。此外，操作者在三维图像存储电路103所存储的三维图像中，设定与孔的位置对应的位置和孔的入口处的插入部2的插入方向。由此，投影图像生成电路104能够根据从位置传感器4输入的当前位置和当前方向，将当前通过摄像元件51拍摄的荧光图像G2的摄像位置和摄像方向与三维图像中的位置和方向对应起来。
并且，投影图像生成电路104从三维图像中，提取具有与摄像元件51的摄像范围对应的面积、且在与插入部2的当前方向对应的方向具有预定尺寸的三维空间，并生成将提取出的三维图像投影到插入部2的当前方向即视野的进深方向的二维的投影图像G3。由此，投影图像生成电路104能够生成位置与荧光图像G2对应起来的投影图像G3。在所生成的投影图像G3中，与组织表层的淋巴管A1对应的像素和与组织深层的淋巴管A2对应的像素具有同等的亮度值。
乘法运算处理电路105对荧光图像G2和投影图像G3的相互对应的像素的亮度值进行乘法运算，并用预定色调显示各像素，由此生成乘法运算图像G4（参照图3中的（c）。），所述预定色调具有与乘法运算得到的乘积对应的明度或饱和度。由此，在荧光图像G2和投影图像G3的两方中显示淋巴管A1、A2的区域、即与组织表层的淋巴管A1对应的区域在乘法运算图像G4中以较深或鲜艳的颜色进行显示。另一方面，仅在荧光图像G2或投影图像G3的一方中显示淋巴管A1、A2的区域、即与组织深层的淋巴管A2对应的区域在乘法运算图像G4中以较浅或较淡的颜色进行显示。
此处，乘法运算处理电路105可以适当进行如下处理，该处理用于使得在乘法运算图像G4中，相比与深层的淋巴管A2对应的区域，进一步强调显示与表层的淋巴管A1对应的区域。例如，可以进行对荧光图像G2的各像素的亮度值乘以或加上预定的系数，并将其积或和用于乘法运算处理等对荧光图像G2的亮度值加权的处理。或者，可以进行调整荧光图像G2的色调曲线等预处理，使得荧光图像G2内的亮部与暗部的明暗差变得足够大。
并且，乘法运算处理电路105还可以进行将积调整到适当的范围内的处理，以防止通过荧光图像G2和投影图像G3的亮度值的乘法运算得到的积变得过大从而在乘法运算图像G4中明度或饱和度饱和。
重叠处理电路106通过在从白色光图像生成电路101输入的白色光图像G1中重叠由乘法运算处理电路105生成的乘法运算图像G4而生成重叠图像G5（参照图3中的（e）。）。即，重叠图像G5是将淋巴管A1、A2与白色光图像G1内的组织B形状对应后的图像。重叠处理电路106将所生成的重叠图像G5输出到显示控制部53。
接着，对具有这样构成的图像处理装置100的内窥镜系统1的作用进行说明。
为了使用本实施方式的内窥镜系统1观察作为被检体X的活体内的组织，操作者在通过点亮光源31而从插入部2的前端交替射出白色光和激励光的同时将插入部2插入到体内。
并且，在通过内窥镜系统1拍摄的视野中，在组织表层存在淋巴管A1时，在监视器6所显示的重叠图像G5中，以较深或鲜艳的预定色调显示淋巴管A1。此外，在视野比较深的位置存在淋巴管A2时，以较浅或较淡的预定色调显示淋巴管A2。观察者根据显示在重叠图像G5内的淋巴管A1、A2中的颜色较浅或较淡的部分掌握深层中的淋巴管A2的三维构造，并且根据需要将颜色较深或鲜艳的部分识别为表层的淋巴管A1来进行处置。
由此，根据本实施方式，在提示给观察者的重叠图像G5中，相比对于观察者而言重要度较低的组织深层的淋巴管A2，强调显示重要度较高的组织表层的淋巴管A1的像。由此，观察者能够在根据重叠图像G5容易且准确地识别表层的淋巴管A1的位置的同时还掌握深层中的淋巴管A2的三维构造的概要，并且能够防止重叠图像G5对于观察者而言不必要地变得烦杂。
在本实施方式中，作为观察对象观察了淋巴管A1、A2，但也可以对其进行替代而观察多个观察对象。例如，在观察病变部作为另1个观察对象的情况下，以与标识淋巴管A1、A2的荧光色素不同的荧光色素标识病变部，在三维图像存储电路103中还预先存储病变部的三维图像。该情况下，乘法运算处理电路105以不同的显示方式、例如不同的色调显示利用淋巴管A1、A2的荧光图像G2得到的乘法运算图像G4、和利用病变部的荧光图像得到的乘法运算图像。由此，能够同时针对两个观察对象，在识别表层和深层的同时进行观察。
另外，为了生成多个观察对象的荧光图像和乘法运算图像，组合使用激励波长和发光波长中的至少一方相互不同的荧光色素、或者组合使用发光波长的强度足够不同的荧光色素。
在前者的情况下，构成为照明单元3以时分方式照射激励光、或者利用波长对由摄像元件51检测出的光进行分支。荧光图像生成电路102分别生成多个观察对象的荧光图像，乘法运算处理电路105将各荧光图像用于乘法运算处理即可。
在后者的情况下，荧光图像生成电路102生成多个观察对象的荧光像作为同一荧光图像。乘法运算处理电路105例如生成荧光图像的亮度值的直方图，并在直方图中出现的两个峰值处，以不同的显示方式显示亮度值所属的各像素组即可。
此外，对于病变部，可以不进行与投影图像的乘法运算处理，而直接将荧光图像重叠到白色光图像。
此外，可以通过观察者进行的操作切换重叠图像G5中的多个观察对象的显示/不显示。例如，操作者利用未图示的输入装置选择多个观察模式中的1个进行输入，重叠处理电路106选择与所输入的观察模式对应的乘法运算图像来生成重叠图像。由此，观察者能够根据需要切换重叠图像G5中的观察对象的显示/不显示。
本实施方式中，作为表层图像使用了淋巴管的荧光图像，但也可以对其进行替代而使用血管的窄带光图像。该情况下，照明单元3替代激励光而将蓝色的窄带光和绿色的窄带光照射到被检体X，三维图像存储电路103对血管的三维图像进行存储。窄带光图像是以高对比度显示组织表层的毛细血管和比较深的位置的粗血管的图像，能够观察血管作为观察对象。
此外，在本实施方式中，将乘法运算图像G4重叠到白色光图像G1向观察者进行了提示，但也可以对其进行替代而分别排列乘法运算图像G4和白色光图像G1向观察者进行提示。
在本实施方式中，图像处理装置100可以与内窥镜系统1分开设置。该情况下，体内的插入部2前端的当前位置和当前方向不使用位置传感器4而利用X线观察装置等从体外进行检测，检测出的当前位置和当前方向的数据从X线观察装置等通过无线或有线发送到图像处理装置100。
本实施方式中的乘法运算图像G4的显示方式是一例，可适当进行变更。例如，可以用轮廓线围起在乘法运算处理电路105中通过亮度值的乘法运算得到的积大于预定值的像素组，并在重叠图像G5上对这些像素组进行闪烁显示。
在本实施方式中，作为表层图像G2和投影图像G3，使用了淋巴管A1、A2均显示为亮部的图像，但也可以对其进行替代而使用红外光图像那样的淋巴管显示为暗部的表层图像，该情况下，使用使亮度值反转后的表层图像进行与投影图像的乘法运算处理即可。
标号说明
1：内窥镜系统；2：插入部；21：物镜光学系统；22：第1滤光片转台；3：照明单元；31：光源；32：第2滤光片转台；33：耦合透镜；34：光导纤维；35：照明光学系统；4：位置传感器；5：控制单元；51：摄像元件；52：定时控制部；53：显示控制部；6：监视器；100：图像处理装置、图像处理部；101：白色光图像生成电路；102：荧光图像生成电路；103：三维图像存储电路（存储部）；104：投影图像生成电路（投影图像生成部）；105：乘法运算处理电路（乘法运算处理部）；106：重叠处理电路（重叠处理部）；A1：表层的淋巴管；A2：深层的淋巴管；G1：白色光图像；G2：荧光图像（表层图像）；G3：投影图像；G4：乘法运算图像；G5：重叠图像；X：被检体。

Claims (8)

1.一种图像处理装置，其具有：
存储部，其对存在于被检体的观察对象的三维图像进行存储；
投影图像生成部，其被输入对所述被检体的表层的所述观察对象进行拍摄而得到的二维的表层图像的摄像位置和摄像方向，并将所述存储部所存储的所述三维图像的与所述摄像位置对应的位置投影到所述摄像方向来生成二维的投影图像；以及
乘法运算处理部，其被输入所述表层图像和通过所述投影图像生成部生成的投影图像，对所述表层图像和所述投影图像的对应的像素的亮度值进行乘法运算来生成乘法运算图像。
2.根据权利要求1所述的图像处理装置，其中，
所述乘法运算处理部将对所述表层图像的亮度值加上系数所得的和或者乘以系数所得的积用于乘法运算。
3.根据权利要求1所述的图像处理装置，其中，
所述乘法运算处理部用与各像素的亮度值对应的明度或饱和度显示所述乘法运算图像的该各像素。
4.根据权利要求2所述的图像处理装置，其中，
所述乘法运算处理部用与各像素的亮度值对应的明度或饱和度显示所述乘法运算图像的该各像素。
5.根据权利要求1～4中的任意一项所述的图像处理装置，其中，
所述图像处理装置具有重叠处理部，所述重叠处理部被输入所述被检体的白色光图像，在该白色光图像中重叠由所述乘法运算处理部生成的乘法运算图像来生成重叠图像。
6.根据权利要求5所述的图像处理装置，其中，
所述乘法运算处理部使用显示有多个观察对象的图像作为所述表层图像和所述投影图像，
所述重叠处理部以不同的显示方式将所述多个观察对象重叠到所述白色光图像。
7.根据权利要求1所述的图像处理装置，其中，
所述表层图像是荧光图像。
8.根据权利要求1所述的图像处理装置，其中，
所述表层图像是窄带光图像。
CN201280026068.6A 2011-06-01 2012-05-28 图像处理装置 Expired - Fee Related CN103561627B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011123552A JP5809850B2 (ja) 2011-06-01 2011-06-01 画像処理装置
JPJP2011-123552 2011-06-01
JP2011-123552 2011-06-01
PCT/JP2012/063609 WO2012165370A1 (ja) 2011-06-01 2012-05-28 画像処理装置

Publications (2)

Publication Number Publication Date
CN103561627A CN103561627A (zh) 2014-02-05
CN103561627B true CN103561627B (zh) 2015-12-09

Family

ID=47259226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280026068.6A Expired - Fee Related CN103561627B (zh) 2011-06-01 2012-05-28 图像处理装置

Country Status (4)

Country Link
US (1) US20140085448A1 (zh)
JP (1) JP5809850B2 (zh)
CN (1) CN103561627B (zh)
WO (1) WO2012165370A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008136A1 (ja) 2016-07-07 2018-01-11 オリンパス株式会社 画像処理装置および画像処理装置の作動方法
JP6734386B2 (ja) 2016-09-28 2020-08-05 パナソニック株式会社 表示システム
JP7108985B2 (ja) * 2018-08-24 2022-07-29 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP7426248B2 (ja) * 2020-01-29 2024-02-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666708A (zh) * 2004-03-08 2005-09-14 西门子公司 用空腔管道三维图像数据记录其二维图像数据序列的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS643502A (en) * 1987-06-25 1989-01-09 Seiko Instr & Electronics Scanning type tunnel microscope
JP2880182B2 (ja) * 1989-06-09 1999-04-05 株式会社日立製作所 表面顕微鏡
JP3707830B2 (ja) * 1995-07-04 2005-10-19 株式会社東芝 術式支援用画像表示装置
DE19526778C1 (de) * 1995-07-21 1997-01-23 Siemens Ag Verfahren zum Kompensieren eines Empfindlichkeitsprofils einer Antennenanordnung eines Magnetresonanzgeräts
DE10357184A1 (de) * 2003-12-08 2005-07-07 Siemens Ag Verfahren zur fusionierten Bilddarstellung
JP2006198032A (ja) * 2005-01-18 2006-08-03 Olympus Corp 手術支援システム
KR100953788B1 (ko) * 2005-05-12 2010-04-21 올림푸스 메디칼 시스템즈 가부시키가이샤 생체 관측 장치
US20070161854A1 (en) * 2005-10-26 2007-07-12 Moshe Alamaro System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
JP2007244746A (ja) * 2006-03-17 2007-09-27 Olympus Medical Systems Corp 観察システム
US7460248B2 (en) * 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
US7612773B2 (en) * 2006-05-22 2009-11-03 Magnin Paul A Apparatus and method for rendering for display forward-looking image data
US8045263B2 (en) * 2006-06-30 2011-10-25 The General Hospital Corporation Device and method for wide-field and high resolution imaging of tissue
US7974003B2 (en) * 2006-11-22 2011-07-05 Vanderbilt University Photolithographed micro-mirror well for 3D tomogram imaging of individual cells
JP2010088699A (ja) * 2008-10-09 2010-04-22 National Center For Child Health & Development 医療画像処理システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666708A (zh) * 2004-03-08 2005-09-14 西门子公司 用空腔管道三维图像数据记录其二维图像数据序列的方法

Also Published As

Publication number Publication date
JP2012249757A (ja) 2012-12-20
CN103561627A (zh) 2014-02-05
WO2012165370A1 (ja) 2012-12-06
JP5809850B2 (ja) 2015-11-11
US20140085448A1 (en) 2014-03-27

Similar Documents

Publication Publication Date Title
CN102247115B (zh) 电子内窥镜系统
CN103796566B (zh) 内窥镜系统和图像显示方法
JP5634755B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
US8965474B2 (en) Tissue imaging system and in vivo monitoring method
CN111526773B (zh) 内窥镜图像获取系统及方法
JP5222934B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
CN106574831B (zh) 观察系统
US9414739B2 (en) Imaging apparatus for controlling fluorescence imaging in divided imaging surface
CN106163367B (zh) 医用图像处理装置及其工作方法以及内窥镜系统
WO2017021942A1 (ko) 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템
CN103501681A (zh) 图像处理装置以及内窥镜系统
CN110461209A (zh) 内窥镜系统、处理器装置及内窥镜系统的工作方法
CN103561627B (zh) 图像处理装置
CN107529969A (zh) 图像处理装置、图像判别系统以及内窥镜系统
US20210145248A1 (en) Endoscope apparatus, operating method of endoscope apparatus, and information storage medium
WO2017104233A1 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
CN107005683A (zh) 内窥镜装置
EP4392737A1 (en) Systems, devices, and methods for imaging and measurement
CN109152520A (zh) 图像信号处理装置、图像信号处理方法以及图像信号处理程序
WO2020138521A1 (ko) 수술 동영상 생성 시스템
JP5844447B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
CN113164054A (zh) 医学成像系统和方法
JP2005287900A (ja) 内視鏡
JPWO2018079217A1 (ja) 内視鏡システム及びその作動方法
US9686484B2 (en) Apparatus for acquiring and projecting broadband image capable of implementing visible light optical image and invisible light fluorescence image together

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151209

Termination date: 20170528