CN103025227B - 图像处理设备、方法 - Google Patents

图像处理设备、方法 Download PDF

Info

Publication number
CN103025227B
CN103025227B CN201180036593.1A CN201180036593A CN103025227B CN 103025227 B CN103025227 B CN 103025227B CN 201180036593 A CN201180036593 A CN 201180036593A CN 103025227 B CN103025227 B CN 103025227B
Authority
CN
China
Prior art keywords
image
blood vessel
adjacent
display
vascular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180036593.1A
Other languages
English (en)
Other versions
CN103025227A (zh
Inventor
板井善则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103025227A publication Critical patent/CN103025227A/zh
Application granted granted Critical
Publication of CN103025227B publication Critical patent/CN103025227B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本发明提供了一种适合于观察大肠的图像。通过插入大肠中的内窥镜来捕获示出了大肠壁的内表面的内窥镜图像(E1、E2)。通过使用示出包括大肠在内的三维区域的三维图像来形成邻近血管图像(Q1),其从三维图像中与内窥镜图像(E1、E2)的视点相对应的视点来表示存在于壁附近的血管部分。通过使用示出包括大肠的周围区域在内的三维区域的三维图像来形成周围血管图像(Q2),其从与内窥镜图像的视点相对应的视点来表示血管。然后,由显示装置以内窥镜图像(E1、E2)、邻近血管图像(Q1)和周围血管图像(Q2)的顺序来显示这些图像。

Description

图像处理设备、方法
技术领域
本发明涉及用于显示用于观察器官(诸如,大肠或胃)的图像的图像处理设备、方法和程序。
背景技术
在此以前,用于使用由插入器官中的内窥镜捕获的真实内窥镜图像来诊断和治疗患者的器官(诸如,大肠或胃)的技术是众所周知的。另外,用于根据通过CT成像等所获得的三维体积图像来生成虚拟内窥镜图像并且显示所生成的图像的技术也是众所周知的。
日本未审查专利公布第2006-061274号提出了如下方法:检测插入器官中的内窥镜的位置和方位,然后基于所检测到的位置和方位生成视场与真实内窥镜图像相同的虚拟内窥镜图像,并且将通过内窥镜获得的真实内窥镜图像纹理映射为虚拟内窥镜图像,从而生成用于显示的图像。
发明内容
当诊断和治疗诸如大肠或胃的器官时,有时需要检查与该器官相关联的周围血管以及粘膜表面上的三维结构和纹理。
在例如大肠的情况下,向在大肠的表面上检测到的病变(诸如,息肉)供给营养的血管的外观是用于辨别大肠癌的关键因素,并且中结肠动脉和右结肠动脉的外观影响到大肠癌的手术计划。因此,当诊断或治疗大肠时,需要观察位于粘膜下层和内在肌层中以及在粘膜表面上的毛细血管、以及中结肠动脉、右结肠动脉、回结肠动脉等的承续血管(succeedingvessel)的外观。
相反,在通过在日本未审查专利公布第2006-061274号中所述的技术提供的用于显示的图像中,可以观察器官的粘膜表面的状态,但无法观察与器官相关联的周围血管的外观,从而不能认为该图像适当地响应了上述需要。
鉴于上述状况而开发了本发明,并且本发明的一个目标是提供能够提供适合于观察与周围血管相关联的管状器官的图像的图像处理设备、方法和程序。
本发明的图像处理设备是用于显示用于观察与周围血管相关联的管状器官的图像的设备,该设备包括:
表面图像获得装置,用于获得表面图像,该表面图像表示通过插入器官中的内窥镜捕获的器官的壁的内表面;
邻近图像生成装置,用于根据表示包括器官在内的三维区域的三维图像来生成邻近血管图像,该邻近血管图像是从三维图像中与表面图像的视点相对应的视点描绘邻近于壁的血管的一部分的图像;
周围图像生成装置,用于根据表示包括器官的周围区域在内的三维区域的三维图像来生成周围血管图像,该周围血管图像是从三维图像中与表面图像的视点相对应的视点描述血管的图像;以及
显示控制装置,用于使得表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。
上述设备可以包括用于根据表面图像检测病变的病变检测装置,并且显示控制装置可以是在病变检测装置检测到病变时使得进行图像显示的装置。
另外,上述设备还可以包括用于对指示执行图像显示的输入进行检测的指令检测装置;并且
显示控制装置可以是在指令检测装置检测到输入时使得进行图像显示的装置。
显示控制装置可以是使得表面图像、邻近血管图像和周围血管图像以切换方式显示或并排显示的装置。
表面图像可以是在白光被导向表面时所捕获的图像和在不同于白光的、在特定波长范围内的光被导向表面时所捕获的图像中的任一个或两者。
邻近血管图像可以是表示投影到器官的结构上的血管的一部分的图像。
本发明的图像处理方法是用于显示用于观察与周围血管相关联的管状器官的图像的方法,该方法包括:
表面图像获得处理,用于获得表面图像,该表面图像表示通过插入器官中的内窥镜捕获的器官的壁的内表面;
邻近图像生成处理,用于根据表示包括器官在内的三维区域的三维图像来生成邻近血管图像,该邻近血管图像是从三维图像中与表面图像的视点相对应的视点描绘邻近于壁的血管的一部分的图像;
周围图像生成处理,用于根据表示包括器官的周围区域在内的三维区域的三维图像来生成周围血管图像,该周围血管图像是从三维图像中与表面图像的视点相对应的视点描述血管的图像;以及
显示控制处理,用于使得表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。
上述方法可以包括用于根据表面图像检测病变的病变检测处理,并且显示控制处理可以是在通过病变检测处理检测到病变时使得进行图像显示的处理。
本发明的图像处理程序是用于使得至少一台计算执行由上述图像处理设备的每个装置执行的处理的程序。该程序记录在记录介质(诸如,CD-ROM、DVD等)上,或者以可下载的方式记录在服务器计算机的辅助存储装置中或网络存储中,并被提供给用户。
本文中所使用的措辞“邻近于壁”是指在从壁的内表面到外部的预定范围内的区域。
本文中所使用的措辞“使得表面图像、邻近血管图像和周围血管图像以此顺序显示”具有以其中接收显示的用户可以按这些图像显示的顺序识别这些图像的方式而执行的显示的广泛含义。例如,包括如下显示模式:表面图像、邻近血管图像和周围血管图像以切换方式显示的显示模式,以及表面图像、邻近血管图像和周围血管图像被并排显示的显示模式,以使得用户通过在显示屏上移动用户视线来按此顺序识别。
本文中所使用的措辞“器官的周围区域”是指具有足以至少包括与器官相关联的主要血管的大小的区域。
根据本发明的图像处理设备、方法和程序,获得了表示通过插入器官中的内窥镜捕获的器官的壁的内表面的表面图像;根据表示包括器官在内的三维区域的三维图像来生成邻近血管图像,该邻近血管图像是从三维图像中与表面图像的视点对应的视点描绘邻近于壁的血管的一部分的图像;根据表示包括器官的周围区域在内的三维区域的三维图像来生成周围血管图像,该周围血管图像是从三维图像中与表面图像的视点相对应的视点描绘血管的图像;以及使得表面图像、邻近血管图像和周围血管图像以此顺序显示在显示装置上。这使得可以连续地观察器官的内表面的外观和具有从该表面到外周的走向的血管的外观,从而可以容易了解在器官的内表面上的组织和与器官相关联的周围血管之间的关系。
特别地,在观察到诸如息肉等病变的情况下,这使得容易观察向病变供给营养的血管的外观和承续的主要血管的走向、以及粘膜表面上的病变的外观,从而利于确定该病变是良性的还是恶性的并利于手术计划。
附图说明
图1是医学图像处理系统的硬件配置图,示出了其概况。
图2示意性地示出图1所示的图像处理设备的配置。
图3是图1所示的图像处理设备的框图,示出了其功能配置。
图4示出作为示例由显示控制装置实现的屏幕显示。
图5是示出由图1所示的图像处理设备执行的处理流程的流程图。
具体实施方式
下文中,将参照附图描述本发明的图像处理设备、方法和程序的实施例。
图1是医学图像处理系统的硬件配置框图,示出了其概况。如图1所示,内窥镜设备3、三维图像捕获设备5、图像存储服务器6和图像处理设备8经由系统中的网络9可通信地彼此连接。
内窥镜设备3包括:内窥镜31,其捕获对象的体腔的图像;处理器单元32,其基于通过图像捕获所获得的信号来生成体腔内的对象组织的图像;光源单元33,其提供用于照亮体腔的内部的光;位置检测单元34,其检测内窥镜31的端部的位置和方位。
内窥镜31包括彼此连接的操作部3A和插入部,并且具有延伸的且可分离地附接于处理器单元32和光源单元33的通用缆线。操作部3A具有各种类型的按钮,诸如用于指示插入部的端部3B在预定的角度范围内在上下和左右方向弯曲等的按钮。在本实施例中,内窥镜31是用于大肠的柔性镜,并且要插入对象的大肠内。通过光纤从光源单元33引导的光从内窥镜31的端部3B投射,并且内窥镜31的图像捕获光学系统获得对象的腹腔的图像。
光源单元33包括白光源和窄带光源,该白光源发射具有在从红色区域到蓝色区域的范围内的波长的白光,该窄带光源发射具有不同于白光的特定波长的光,诸如波长为560±10nm的光。光源单元33被配置成使得在内窥镜设备3的图像捕获模式是普通图像捕获模式的情况下提供白光源产生的光,而在图像捕获模式是光谱图像捕获模式的情况下将窄带光源产生的光经由光学系统提供至内窥镜的光导。
位置检测单元34检测内窥镜31的端部3B的位置和方位。更具体地,例如在日本未审查专利公布第2006-061274号中所述,位置检测单元34通过利用将具有对象的特定区域的位置的三维坐标系的检测区域作为参考点的回波单元,来监测内窥镜31的端的特征形状,从而检测内窥镜31的端部在对象内部的相对位置和方位;并且位置检测单元34将所获得的端部3B的位置和方位的信息提供至处理器单元32。端部3B的位置和方位对应于视点和视线方向。
处理器单元32通过将由内窥镜31捕获的图像信号转换为数字图像信号并通过数字信号处理(诸如,白平衡校正、阴影校正等)执行图像质量校正,来生成内窥镜图像。处理器单元32基于在内窥镜设备3的图像捕获模式是普通图像捕获模式期间所捕获的图像信号来生成普通内窥镜图像E1,并基于在内窥镜设备3的图像捕获模式是光谱图像捕获模式期间所捕获的图像信号来生成光谱内窥镜图像E2。在端部3B在图像捕获时的位置和方位的信息被附加作为辅助信息之后,内窥镜图像E1和E2中的每一个均被传送至图像存储服务器6和图像处理设备8。
三维图像捕获设备5是捕获对象的检查目标区域的图像并且生成表示该区域的三维图像的设备,更具体地,该设备是CT设备、MRI设备、PET、超声图记录仪等。由三维图像捕获设备5生成的三维图像被传送至图像存储服务器6并存储在其中。在本实施例中,生成检查目标区域的三维图像V,至少包括大肠及其周围区域。
图像存储服务器6是存储并管理各种类型的数据的计算机,并且包括大容量外部存储装置和数据库管理软件。图像存储服务器6经由网络9与其他设备进行通信,以发送和接收图像数据等。更具体地,图像存储服务器6经由网络9获得由内窥镜设备3获得的内窥镜图像和由三维图像捕获设备5获得的三维图像,并且在记录介质(诸如,大容量外部存储装置)中存储/管理这些图像。
图像数据的存储格式和经由网络9在各设备之间的通信基于诸如DICOM等的协议。
图像处理设备8是安装有本发明的图像处理程序的计算机。计算机可以是诊断医生直接操作的工作站或个人计算机、或者经由网络与其连接的服务器计算机。图像处理程序被分布式存储在诸如DVD、CD-ROM等的记录介质中,并且从记录介质安装在计算机上。或者,程序以可从外部访问的方式存储在连接至网络的服务器计算机的存储装置中或网络存储中,并且响应于请求而被下载/安装在医生使用的计算机上。
图2示意性地示出通过将图像处理程序安装在工作站上而实现的图像处理设备的配置。如图所示,作为工作站的标准配置,图像处理设备8包括CPU81、存储器82和存储装置(图像存储装置)83。另外,显示器84和诸如鼠标85等的输入装置(指令检测装置)连接至图像处理设备8。
存储装置83中包括通过图像处理设备8中的图像处理所生成的图像数据,以及经由网络9从内窥镜设备3、三维图像捕获设备5和图像存储服务器6获得的内窥镜图像和三维图像。
存储器82中包括图像处理程序。图像处理程序定义了表面图像获得处理、邻近图像生成处理、周围图像生成处理、病变检测处理、指令检测处理和显示控制处理,作为CPU81执行的处理。CPU81根据程序执行这些处理将使得通用工作站用作表面图像获得装置71、邻近图像生成装置72、周围图像生成装置73、病变检测装置74、指令检测装置75和显示控制装置76。
现在将参照图3描述图像处理设备8的每个功能块。
表面图像获得装置71获得通过内窥镜设备3在预定视点位置对大肠的内部进行成像而捕获的普通内窥镜图像E1和光谱内窥镜图像E2。在这些图像已存储在存储装置83中的情况下,可从存储装置83获得这些图像。普通内窥镜图像E1和光谱内窥镜图像E2中的每一个均对应于表示大肠的壁的内表面的表面图像。所获得的普通内窥镜图像E1和光谱内窥镜图像E2输出至显示控制装置76。
邻近图像生成装置72生成邻近血管图像,该邻近血管图像从与普通内窥镜图像E1或光谱内窥镜图像E2的视点相对应的三维图像V中的视点来描绘邻近于大肠壁的血管的一部分。更具体地,三维图像V是从三维图像捕获设备5或图像存储服务器6、以及附接于普通内窥镜图像E1或光谱内窥镜图像E2的端部3B的位置P和方位D(内窥镜图像的视点和视线方向)的信息而获得的。然后,提取大肠的中心线,并设置在垂直于中心线的每个横截面上从中心线经过的点径向延伸的多条线,并且将每条线经过的大肠壁的内表面上的点的像素值设置为在从壁的表面到外部的预定范围内在该线上的所有点的像素值中的最大值(深度Mip映射)。该处理在大肠壁的内表面上生成由于邻近于大肠壁的造影剂而具有高像素值的全部血管部分的投影图像。另外,作为在普通体绘制中所分配的不透明度,接近于一的值被分配给大肠壁,使得如实地描绘大肠壁的形状。接下来,通过将关于从作为三维图像V中对应于位置P的位置的视点径向延伸的多条视线的图像信息投影到以对应于方位D的方向作为投影方向中心的投影平面上,来根据三维图像V生成投影图像。
对于具体的投影方法,使用已知的体绘制技术等(同样适用于周围图像生成装置73)。以如上所述的方式生成的投影图像是构图与普通内窥镜图像E1或光谱内窥镜图像E2的构图相同的虚拟内窥镜图像,并且是其中邻近于大肠壁的血管部分的投影图像作为图案而被表示在大肠壁上的图像。该虚拟内窥镜图像对应于本发明的邻近血管图像,在下文中被称为邻近血管图像。邻近血管图像被输出至显示控制装置76。
周围图像生成装置73根据三维图像V生成周围血管图像,该周围血管图像是从与普通内窥镜图像E1或光谱内窥镜图像E2的视点对应的三维图像V中的视点来描述大肠周围的血管的图像。更具体地,三维图像V是从三维图像捕获设备5或图像存储服务器6以及附接于普通内窥镜图像E1或光谱内窥镜图像E2的端部3B的位置P和方位D的信息而获得的。另外,作为在普通体绘制中所分配的不透明度,接近于零的值被分配给大肠壁,使得可见性不被大肠壁阻碍。接下来,通过将关于从作为对应于位置P的三维图像V中的位置的视点径向延伸的多条视线的图像信息投影到以对应于方位D的方向作为投影方向中心的投影平面上,来根据三维图像V生成投影图像。以如上所述的方式生成的投影图像是其中如实地描绘了大肠周围的组织的外观(特别是由于造影剂而具有高像素值的血管)的伪三维图像。该伪三维图像对应于本发明的周围血管图像,在下文中被称为周围血管图像。周围血管图像被输出至显示控制装置76。
病变检测装置74是如下装置:其根据普通内窥镜图像E1或光谱内窥镜图像E2检测病变,并且通过利用计算机辅助诊断系统自动检测诸如凸出物(息肉)、癌症或肿瘤的病变区域来获得病变区域53。该病变区域可以通过接收医生通过对内窥镜图像的判读检测到的且使用设置在图像处理设备8中的输入装置(诸如鼠标85等)所输入的病变的位置来获得。病变的检测结果被输出至显示控制装置76、邻近图像生成装置72、周围图像生成装置73等。
指令检测装置75通过检测用户通过诸如鼠标85等的输入装置进行的菜单选择来检测稍后描述的、指示执行本发明的一系列图像显示操作的输入。指令检测装置75可以是检测用户通过内窥镜设备3的操作部3A所执行的操作并检测指令输入的装置。
显示控制装置76控制显示器84的屏幕的显示格式和显示定时。更具体地,如果显示模式是“普通显示模式”,则显示控制装置76顺序地获得并显示以预定帧速率捕获的、内窥镜设备3获得的内窥镜图像。如果显示模式是“串行显示模式”,则显示控制装置76以切换方式将表面图像、邻近血管图像和周围血管图像以此顺序显示在显示器84的屏幕的预定显示区域上。另外,显示控制装置76还可以将表面图像、邻近血管图像和周围血管图像在显示屏上从上到下或从左到右地并排显示。显示控制装置76根据设置信息或用户操作确定是以切换方式显示这些图像还是并排显示这些图像。图4示出当显示模式是“串行显示模式”时的一个显示示例,其中普通内窥镜图像E1、光谱内窥镜图像E2、邻近血管图像和周围血管图像这些显示图像以此顺序并排显示。
另外,如果病变检测装置74检测到病变或者如果指令检测装置75检测到指示执行串行显示的输入,则显示控制装置76将显示模式设置为“串行显示模式”并且执行上述显示。
现在将参照图5所示的流程图描述本发明的图像处理设备8执行的处理流程的示例。首先,表面图像获得装置71获得通过内窥镜设备3在预定视点位置处对大肠的内部成像而捕获的普通内窥镜图像E1和光谱内窥镜图像E2(步骤ST1)。此后,病变检测装置74执行用于根据光谱内窥镜图像E2检测病变的处理,并且确定是否检测到病变(步骤ST2)。如果在步骤ST2中没有检测到病变,则显示控制装置76将显示模式设置为“普通显示模式”,并且顺序地获得和显示以预定帧速率捕获的、由内窥镜设备3获得的内窥镜图像(步骤ST3)。此后,重复步骤ST2和ST3,直到在步骤ST2中检测到病变为止。
如果在步骤ST2中检测到病变,则邻近图像生成装置72根据三维图像V生成邻近血管图像,该邻近血管图像是从与普通内窥镜图像E1的视点相对应的三维图像V中的视点描绘邻近于大肠壁的血管部分的图像(步骤ST4)。另外,周围图像生成装置73根据三维图像V生成周围血管图像,该周围血管图像是从与普通内窥镜图像E1的视点对应的三维图像V中的视点描绘大肠周围的血管的图像(步骤ST5)。可以同时执行步骤ST5和ST6,或者可以首先执行任一个步骤并接下来执行另一步骤。随后,显示控制装置76将显示模式设置为“串行显示模式”,并且以切换方式将普通内窥镜图像E1、光谱内窥镜图像E2、邻近血管图像和周围血管图像以此顺序显示(步骤ST6),并且处理结束。
如上所述,根据本实施例的图像处理设备和程序,通过由插入大肠中的内窥镜执行的图像捕获来获得表示大肠壁的内表面的内窥镜图像(表面图像)E1、E2。然后,根据表示包括大肠的三维区域的三维图像,生成邻近血管图像Q1和周围血管图像Q2,其中该邻近血管图像Q1是从三维图像中与内窥镜图像的视点对应的视点描绘邻近于大肠壁的血管部分的图像,该周围血管图像Q2是从三维图像中与内窥镜图像的视点对应的视点描绘周围血管的图像。此后,内窥镜图像E1、E2、邻近血管图像Q1和周围血管图像Q2以此顺序显示在显示装置上。这使得能够连续地观察大肠的内表面的外观和具有从表面到外周的走向的血管的外观,从而可以容易地了解大肠的内表面上的组织和与大肠相关联的周围血管之间的关系。
另外,对内窥镜图像执行病变检测,并且如果检测到诸如息肉的病变,则使得内窥镜图像、邻近血管图像和周围血管图像以此顺序显示在显示装置上。这使得能够容易地观察向病变供给营养的血管的外观、承续的主要血管的走向以及粘膜表面上的病变的外观,从而利于确定病变是良性的还是恶性的以及利于手术计划。
在上述实施例中,已描述应用本发明的图像处理设备以观察大肠的情况,但应用不限于此,并且设备还可以用于观察与周围血管相关联的其他管状器官(诸如,胃)。
另外,在上述实施例中,已描述普通内窥镜图像E1和光谱内窥镜图像E2都显示为表面图像的情况,但可以采用仅显示它们中的任一个的布置。
另外,显示控制装置76可以是进一步配备有如下功能的装置:通过在显示模式是“串行显示模式”时进一步检测用户通过诸如鼠标85等输入装置执行的菜单选择,以切换方式将周围血管图像Q2、邻近血管图像Q1和表面图像E1、E2以与上述串行图像显示顺序相反的此顺序显示在显示器84的屏幕的预定显示区域上。
另外,上述图像处理设备8还可以包括图像生成装置,其根据三维图像V来生成构图与内窥镜设备3捕获的内窥镜图像的构图相同且以仿佛由内窥镜观察一样的方式表示目标器官的外观的虚拟内窥镜图像,并且当显示模式是“正常显示模式”时,显示控制装置76可以以联锁方式显示内窥镜图像和构图与图像生成装置生成的内窥镜图像的构图相同的虚拟内窥镜图像。

Claims (11)

1.一种图像处理设备,用于显示用于观察与周围血管相关联的管状器官的图像,所述设备包括:
表面图像获得装置,用于获得表面图像,所述表面图像表示通过插入所述器官中的内窥镜捕获的所述器官的壁的内表面;
邻近图像生成装置,用于根据表示包括所述器官在内的三维区域的三维图像来生成邻近血管图像,所述邻近血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描绘邻近于所述壁的血管的一部分的图像;
周围图像生成装置,用于根据表示包括所述器官的周围区域在内的三维区域的三维图像来生成周围血管图像,所述周围血管图像是从所述表示包括所述器官的周围区域在内的三维区域的三维图像中与所述表面图像的视点相对应的视点描述血管的图像;以及
显示控制装置,用于使得所述表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。
2.根据权利要求1所述的图像处理设备,其中:
所述设备包括用于根据所述表面图像检测病变的病变检测装置;并且
所述显示控制装置是在所述病变检测装置检测到病变时使得进行图像显示的装置。
3.根据权利要求1或2所述的图像处理设备,其中:
所述设备包括用于对指示执行图像显示的输入进行检测的指令检测装置;并且
所述显示控制装置是在所述指令检测装置检测到所述输入时使得进行图像显示的装置。
4.根据权利要求1或2所述的图像处理设备,其中,所述显示控制装置是使得所述表面图像、邻近血管图像和周围血管图像以切换方式显示的装置。
5.根据权利要求1或2所述的图像处理设备,其中,所述显示控制装置是使得所述表面图像、邻近血管图像和周围血管图像并排显示的装置。
6.根据权利要求1或2所述的图像处理设备,其中,所述表面图像是在白光被导向所述内表面时所捕获的图像和在不同于白光的特定波长范围内的光被导向所述内表面时所捕获的图像中的任一个或两个。
7.根据权利要求1或2所述的图像处理设备,其中,所述邻近血管图像是表示投影到所述器官的结构上的所述邻近于所述壁的血管的一部分的图像。
8.根据权利要求1或2所述的图像处理设备,其中,所述周围血管图像不描述所述壁的图像。
9.一种图像显示方法,用于显示用于观察与周围血管相关联的管状器官的图像,所述方法包括:
表面图像获得处理,用于获得表面图像,所述表面图像表示通过内窥镜捕获的所述器官的壁的内表面;
邻近图像生成处理,用于根据表示包括所述器官在内的三维区域的三维图像来生成邻近血管图像,所述邻近血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描绘邻近于所述壁的血管的一部分的图像;
周围图像生成处理,用于根据表示包括所述器官的周围区域在内的三维区域的三维图像来生成周围血管图像,所述周围血管图像是从所述表示包括所述器官的周围区域在内的三维区域的三维图像中与所述表面图像的视点相对应的视点描述所述血管的图像;以及
显示控制处理,用于使得所述表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。
10.根据权利要求9所述的图像显示方法,其中:
所述方法包括用于根据所述表面图像检测病变的病变检测处理;以及
所述显示控制处理是在通过所述病变检测处理检测到病变时使得进行图像显示的处理。
11.根据权利要求9或10所述的图像显示方法,其中,通过所述周围图像生成处理生成的所述周围血管图像不描述所述壁的图像。
CN201180036593.1A 2010-07-28 2011-07-25 图像处理设备、方法 Expired - Fee Related CN103025227B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010168872A JP5486432B2 (ja) 2010-07-28 2010-07-28 画像処理装置、その作動方法およびプログラム
JP2010-168872 2010-07-28
PCT/JP2011/004183 WO2012014437A1 (ja) 2010-07-28 2011-07-25 画像処理装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
CN103025227A CN103025227A (zh) 2013-04-03
CN103025227B true CN103025227B (zh) 2015-11-25

Family

ID=45529670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180036593.1A Expired - Fee Related CN103025227B (zh) 2010-07-28 2011-07-25 图像处理设备、方法

Country Status (5)

Country Link
US (1) US9723971B2 (zh)
EP (1) EP2599432A1 (zh)
JP (1) JP5486432B2 (zh)
CN (1) CN103025227B (zh)
WO (1) WO2012014437A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013118400A1 (ja) * 2012-02-10 2013-08-15 オリンパスメディカルシステムズ株式会社 制御装置、生体光学測定装置および内視鏡システム
JP5899172B2 (ja) * 2013-01-10 2016-04-06 富士フイルム株式会社 内視鏡装置
JP6026932B2 (ja) * 2013-03-22 2016-11-16 富士フイルム株式会社 医用画像表示制御装置および方法並びにプログラム
JP6134978B2 (ja) * 2013-05-28 2017-05-31 富士フイルム株式会社 投影画像生成装置、方法およびプログラム
JP6026357B2 (ja) * 2013-06-13 2016-11-16 富士フイルム株式会社 仮想内視鏡画像生成装置および方法並びにプログラム
US11523874B2 (en) * 2014-02-04 2022-12-13 Koninklijke Philips N.V. Visualization of depth and position of blood vessels and robot guided visualization of blood vessel cross section
AU2015283938B2 (en) * 2014-07-02 2019-08-08 Covidien Lp Alignment CT
WO2017140349A1 (en) 2016-02-16 2017-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Network access of a wireless device
CN107548291B (zh) * 2016-04-27 2020-02-07 Hoya株式会社 内窥镜管理系统、内窥镜装置、管理内窥镜装置的管理装置以及内窥镜装置的管理方法
TWI632893B (zh) * 2017-05-16 2018-08-21 國立陽明大學 偵測與分析消化道黏膜組織之方法及系統
CN111212591B (zh) * 2017-10-17 2022-08-02 富士胶片株式会社 医疗图像处理装置及内窥镜装置
US10918326B2 (en) * 2018-05-31 2021-02-16 The Regents Of The University Of Michigan Automated assessment of bowel damage in intestinal diseases
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
CN111839445A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于图像识别的结肠镜手术中窄带成像检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1230271A (zh) * 1996-09-16 1999-09-29 纽约州立大学研究基金会 用于执行三维虚拟检查的系统和方法
EP1543765A1 (en) * 2002-08-30 2005-06-22 Olympus Corporation Medical treatment system, endoscope system, endoscope insert operation program, and endoscope device
CN101095609A (zh) * 2006-06-29 2008-01-02 奥林巴斯医疗株式会社 体腔内探测装置
CN101404923A (zh) * 2006-03-16 2009-04-08 奥林巴斯医疗株式会社 医疗用图像处理装置以及医疗用图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5274551A (en) * 1991-11-29 1993-12-28 General Electric Company Method and apparatus for real-time navigation assist in interventional radiological procedures
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
JP2001076184A (ja) * 1999-09-03 2001-03-23 Ge Yokogawa Medical Systems Ltd 3次元表示方法および3次元表示装置
US7892169B2 (en) * 2000-07-21 2011-02-22 Olympus Corporation Endoscope apparatus
US6956602B2 (en) * 2001-09-27 2005-10-18 Fujinon Corporation Electronic endoscope for highlighting blood vessel
JP2006061274A (ja) * 2004-08-25 2006-03-09 Konica Minolta Medical & Graphic Inc プログラム、及び内視鏡システム
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
JP5114121B2 (ja) * 2007-07-18 2013-01-09 株式会社日立メディコ 医用画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1230271A (zh) * 1996-09-16 1999-09-29 纽约州立大学研究基金会 用于执行三维虚拟检查的系统和方法
EP1543765A1 (en) * 2002-08-30 2005-06-22 Olympus Corporation Medical treatment system, endoscope system, endoscope insert operation program, and endoscope device
CN101404923A (zh) * 2006-03-16 2009-04-08 奥林巴斯医疗株式会社 医疗用图像处理装置以及医疗用图像处理方法
CN101095609A (zh) * 2006-06-29 2008-01-02 奥林巴斯医疗株式会社 体腔内探测装置

Also Published As

Publication number Publication date
EP2599432A1 (en) 2013-06-05
CN103025227A (zh) 2013-04-03
WO2012014437A1 (ja) 2012-02-02
JP2012024509A (ja) 2012-02-09
US20130137926A1 (en) 2013-05-30
JP5486432B2 (ja) 2014-05-07
US9723971B2 (en) 2017-08-08

Similar Documents

Publication Publication Date Title
CN103025227B (zh) 图像处理设备、方法
US20220192611A1 (en) Medical device approaches
EP2429400B1 (en) Quantitative endoscopy
JP4676021B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
US10580325B2 (en) System and method for performing a computerized simulation of a medical procedure
EP3463032B1 (en) Image-based fusion of endoscopic image and ultrasound images
CN101336844B (zh) 医用图像处理装置以及医用图像诊断装置
US20130035583A1 (en) Method and apparatus for processing medical image, and robotic surgery system using image guidance
EP2423877A1 (en) Endoscopic image processing device, method and program
US20130345509A1 (en) System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
KR20130108320A (ko) 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
US20130129175A1 (en) Systems and methods for displaying guidance data based on updated deformable imaging data
US9655498B2 (en) Medical image displaying apparatus and a medical image diagnostic apparatus
US9375132B2 (en) Medical image processing apparatus and medical image diagnosis apparatus
KR101728044B1 (ko) 의료 영상을 디스플레이 하기 위한 방법 및 장치
JP2012217770A (ja) 画像処理装置、その処理方法及びプログラム
JP2012024518A (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
US20230316639A1 (en) Systems and methods for enhancing medical images
JP4686279B2 (ja) 医用診断装置及び診断支援装置
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
KR20100052405A (ko) 자궁의 가상 내시경 영상을 형성하는 방법
JP7462255B2 (ja) 内視鏡用形状計測システムおよび内視鏡用形状計測方法
JP2018153345A (ja) 内視鏡位置特定装置、方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20210725

CF01 Termination of patent right due to non-payment of annual fee