JP2008048906A - 医療用画像処理装置及び医療用画像処理方法 - Google Patents

医療用画像処理装置及び医療用画像処理方法 Download PDF

Info

Publication number
JP2008048906A
JP2008048906A JP2006228192A JP2006228192A JP2008048906A JP 2008048906 A JP2008048906 A JP 2008048906A JP 2006228192 A JP2006228192 A JP 2006228192A JP 2006228192 A JP2006228192 A JP 2006228192A JP 2008048906 A JP2008048906 A JP 2008048906A
Authority
JP
Japan
Prior art keywords
image
dimensional
image processing
dimensional model
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006228192A
Other languages
English (en)
Other versions
JP4855868B2 (ja
Inventor
Yoshio Sawa
美穂 沢
Hiroichi Nishimura
博一 西村
Kenji Nakamura
健次 中村
Ryoko Inoue
涼子 井上
Hideki Tanaka
秀樹 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2006228192A priority Critical patent/JP4855868B2/ja
Priority to CN2007800314647A priority patent/CN101505650B/zh
Priority to EP07744947.8A priority patent/EP2057932B1/en
Priority to PCT/JP2007/061627 priority patent/WO2008023491A1/ja
Publication of JP2008048906A publication Critical patent/JP2008048906A/ja
Priority to US12/388,832 priority patent/US8515141B2/en
Application granted granted Critical
Publication of JP4855868B2 publication Critical patent/JP4855868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/507Depth or shape recovery from shading
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • G06T2207/30032Colon polyp

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

【課題】三次元モデルにおける、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる医療用画像処理装置及び医療用画像処理方法を提供する。
【解決手段】本発明における医療用画像処理装置は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、前記二次元画像を少なくとも1以上の画素からなる複数の領域に分割する画像分割部と、前記複数の領域各々において、一の領域が有する各画素の濃淡に応じた特徴量を算出する特徴量算出部と、前記濃淡に応じた特徴量に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、を有する。
【選択図】図1

Description

本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、局所的な隆起形状を有する病変を検出可能な医療用画像処理装置及び医療用画像処理方法に関するものである。
従来、医療分野において、X線診断装置、CT、MRI、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、体腔内に挿入可能な挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。
内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等を総合的に観察することができる。そして、近年においては、撮像された体腔内の像に応じた二次元画像のデータに基づき、該体腔内の像の三次元モデルを推定可能な内視鏡装置が提案されている。
さらに、内視鏡装置は、局所的な隆起形状を有する病変が存在する所定の画像を検出可能な画像処理方法として、例えば、特許文献1に記載されている画像処理方法を用いることにより、ポリープ等の病変部位が含まれる画像を検出することもまた可能である。
特許文献1に記載されている画像処理方法は、入力された画像が有する輪郭を抽出するとともに、該輪郭の形状に基づき、該画像における局所的な隆起形状を有する病変を検出することができる。
特開2005−192880号公報
一般的に、例えば、一の画像の比較的明るい部分においては、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在し、また、該一の画像の比較的暗い部分においては、該病変を検出する際に有用なデータが疎な状態として存在する場合が多い。また、例えば、一の画像において、局所的な隆起形状を有する病変を検出する際に有用なデータの疎密の状態が、該一の画像に存在する各エッジを境界として変化する場合も多くある。
特に、三次元モデルにおいて局所的な隆起形状を有する病変を検出する場合には、該病変の誤検出及び検出漏れを防ぐために、該三次元モデルを推定する際に用いた二次元画像の明暗またはエッジの有無等から生じるデータの疎密の状態に応じ、病変検出基準が適宜設定されることが好ましい。しかし、特許文献1の画像処理方法においては、前記病変検出基準をデータの疎密の状態に応じて適宜変化させることに関する提案がなされていない。その結果、特許文献1の画像処理方法が用いられた場合、三次元モデルにおける、局所的な隆起形状を有する病変の検出精度が低下してしまうという課題が生じている。
本発明は、前述した点に鑑みてなされたものであり、三次元モデルにおける、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。
本発明における第1の医療用画像処理装置は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、前記二次元画像を少なくとも1以上の画素からなる複数の領域に分割する画像分割部と、前記複数の領域各々において、一の領域が有する各画素の濃淡に応じた特徴量を算出する特徴量算出部と、前記濃淡に応じた特徴量に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、を有することを特徴とする。
本発明における第2の医療用画像処理装置は、前記第1の医療用画像処理装置において、前記濃淡に応じた特徴量は、濃淡値の平均値であることを特徴とする。
本発明における第3の医療用画像処理装置は、前記第1または前記第2の医療用画像処理装置において、前記濃淡に応じた特徴量は、濃淡値の分散であることを特徴とする。
本発明における第4の医療用画像処理装置は、前記第1乃至前記第3の医療用画像処理装置において、さらに、前記特徴量算出部は、前記複数の領域各々において、一の領域の周波数成分を算出し、前記病変検出基準設定部は、前記濃淡に応じた特徴量及び前記周波数成分に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定することを特徴とする。
本発明における第5の医療用画像処理装置は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、前記二次元画像が有する各画素の濃淡に応じた画像情報を抽出する画像情報抽出部と、前記各画素の濃淡に応じた特徴量に基づき、前記二次元画像を複数の領域に分割する画像分割部と、前記画像分割部により分割された前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、を有することを特徴とする。
本発明における第6の医療用画像処理装置は、前記第5の医療用画像処理装置において、 前記各画素の濃淡に応じた画像情報は、前記各画素の濃淡値であることを特徴とする。
本発明における第7の医療用画像処理装置は、前記第5の医療用画像処理装置において、 前記各画素の濃淡に応じた画像情報は、前記二次元画像のエッジであることを特徴とする。
本発明における第8の医療用画像処理装置は、前記第7の医療用画像処理装置において、前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を境界として前記二次元画像を複数の領域に分割することを特徴とする。
本発明における第9の医療用画像処理装置は、前記第7の医療用画像処理装置において、前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を囲む矩形領域を順次設定するとともに、設定した該矩形領域各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする。
本発明における第10の医療用画像処理装置は、前記第7の医療用画像処理装置において、前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を膨張させるとともに、膨張後の前記エッジ各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする。
本発明における第11の医療用画像処理装置は、前記第10の医療用画像処理装置において、前記病変検出基準は、前記三次元モデルにおいて二次曲面近似を行う際に用いられる立方領域のサイズであることを特徴とする。
本発明における第12の医療用画像処理装置は、前記第1または前記第2の医療用画像処理装置において、前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第1の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第2の閾値であることを特徴とする。
本発明における第13の医療用画像処理装置は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、前記二次元画像を少なくとも1以上の画素からなる複数の領域に分割する画像分割部と、前記二次元画像上において前記複数の領域各々が存在する位置と、前記二次元画像上の所定の位置との位置関係を検出する画像位置検出部と、前記画像位置検出部により検出された前記位置関係に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、を有することを特徴とする。
本発明における第14の医療用画像処理装置は、前記第13の医療用画像処理装置において、前記二次元画像上の所定の位置は、前記二次元画像の中心座標であることを特徴とする。
本発明における第15の医療用画像処理装置は、前記第13の医療用画像処理装置において、前記二次元画像上の所定の位置は、前記二次元画像の縁部であることを特徴とする。
本発明における第16の医療用画像処理装置は、前記第13乃至前記第15の医療用画像処理装置において、前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第1の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第2の閾値であることを特徴とする。
本発明における第17の医療用画像処理装置は、前記第1乃至前記第16の医療用画像処理装置において、前記局所的な隆起形状を有する病変は、ポリープであることを特徴とする。
本発明における第1の医療用画像処理方法は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、前記二次元画像を少なくとも1以上の画素からなる複数の領域に分割する画像分割ステップと、前記複数の領域各々において、一の領域が有する各画素の濃淡に応じた特徴量を算出する特徴量算出ステップと、前記濃淡に応じた特徴量に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、を有することを特徴とする。
本発明における第2の医療用画像処理方法は、前記第1の医療用画像処理方法において、前記濃淡に応じた特徴量は、濃淡値の平均値であることを特徴とする。
本発明における第3の医療用画像処理方法は、前記第1または前記第2の医療用画像処理方法において、前記濃淡に応じた特徴量は、濃淡値の分散であることを特徴とする。
本発明における第4の医療用画像処理方法は、前記第1乃至前記第3の医療用画像処理方法において、さらに、前記特徴量算出ステップは、前記複数の領域各々において、一の領域の周波数成分を算出し、前記病変検出基準設定ステップは、前記濃淡に応じた特徴量及び前記周波数成分に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定することを特徴とする。
本発明における第5の医療用画像処理方法は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、前記二次元画像が有する各画素の濃淡に応じた画像情報を抽出する画像情報抽出ステップと、前記各画素の濃淡に応じた特徴量に基づき、前記二次元画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、を有することを特徴とする。
本発明における第6の医療用画像処理方法は、前記第5の医療用画像処理方法において、前記各画素の濃淡に応じた画像情報は、前記各画素の濃淡値であることを特徴とする。
本発明における第7の医療用画像処理方法は、前記第5の医療用画像処理方法において、前記各画素の濃淡に応じた画像情報は、前記二次元画像のエッジであることを特徴とする。
本発明における第8の医療用画像処理方法は、前記第7の医療用画像処理方法において、前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を境界として前記二次元画像を複数の領域に分割することを特徴とする。
本発明における第9の医療用画像処理方法は、前記第7の医療用画像処理方法において、前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を囲む矩形領域を順次設定するとともに、設定した該矩形領域各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする。
本発明における第10の医療用画像処理方法は、前記第7の医療用画像処理方法において、前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を膨張させるとともに、膨張後の前記エッジ各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする。
本発明における第11の医療用画像処理方法は、前記第1乃至前記第10の医療用画像処理方法において、前記病変検出基準は、前記三次元モデルにおいて二次曲面近似を行う際に用いられる立方領域のサイズであることを特徴とする。
本発明における第12の医療用画像処理方法は、前記第1または前記第2の医療用画像処理方法において、前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第1の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第2の閾値であることを特徴とする。
本発明における第13の医療用画像処理方法は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、前記二次元画像を少なくとも1以上の画素からなる複数の領域に分割する画像分割ステップと、前記二次元画像上において前記複数の領域各々が存在する位置と、前記二次元画像上の所定の位置との位置関係を検出する画像位置検出ステップと、前記画像位置検出ステップにより検出された前記位置関係に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、を有することを特徴とする。
本発明における第14の医療用画像処理方法は、前記第13の医療用画像処理方法において、前記二次元画像上の所定の位置は、前記二次元画像の中心座標であることを特徴とする。
本発明における第15の医療用画像処理方法は、前記第13の医療用画像処理方法において、前記二次元画像上の所定の位置は、前記二次元画像の縁部であることを特徴とする。
本発明における第16の医療用画像処理方法は、前記第13乃至前記第15の医療用画像処理方法において、前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第1の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第2の閾値であることを特徴とする。
本発明における第17の医療用画像処理方法は、前記第1乃至前記第16の医療用画像処理方法において、前記局所的な隆起形状を有する病変は、ポリープであることを特徴とする。
本発明における医療用画像処理装置及び医療用画像処理方法によると、三次元モデルにおける、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる。
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施形態)
図1から図7は、本発明の第1の実施形態に係るものである。図1は、本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図2は、図1の内視鏡システムにより撮像された被写体の像の二次元画像の一例を示す図である。図3は、図1の医療用画像処理装置が第1の実施形態において行う処理の手順を示すフローチャートである。図4は、図3における病変検出基準設定処理として、第1の実施形態において行われる処理の一例を示すフローチャートである。図5は、図2に示す二次元画像が複数の領域に分割された場合の処理結果の一例を示す図である。図6は、図1の医療用画像処理装置により推定された三次元モデルに対し、図4の各処理により設定された病変検出基準が適用されている状態の一例を示す図である。図7は、図1の医療用画像処理装置により推定された三次元モデルに対し、図4の各処理により設定された病変検出基準が適用されている状態の、図6とは異なる例を示す図である。
内視鏡システム1は、図1に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置2と、パーソナルコンピュータ等により構成され、医療用観察装置2から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置3と、医療用画像処理装置3から出力される画像信号に基づく画像を表示するモニタ4とを有して要部が構成されている。
また、医療用観察装置2は、被検体の体腔内に挿入されるとともに、該体腔内に存在する生体組織等の被写体を撮像して撮像信号として出力する内視鏡6と、内視鏡6により撮像される被写体を照明するための照明光を供給する光源装置7と、内視鏡6に対する各種制御を行うとともに、内視鏡6から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット(以降、CCUと略記する)8と、CCU8から出力される二次元画像の映像信号に基づき、内視鏡6により撮像された被写体の像を画像表示するモニタ9とを有して要部が構成されている。
内視鏡6は、体腔内に挿入される挿入部11と、挿入部11の基端側に設けられた操作部12とを有して構成されている。また、挿入部11内の基端側から、挿入部11内の先端側の先端部14にかけての部分には、光源装置7から供給される照明光を伝送するためのライトガイド13が挿通されている。
ライトガイド13は、先端側が内視鏡6の先端部14に配置されるとともに、後端側が光源装置7に接続される。ライトガイド13がこのような構成を有することにより、光源装置7から供給される照明光は、ライトガイド13により伝送された後、挿入部11の先端部14の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。
内視鏡6の先端部14には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系15と、対物光学系15の結像位置に配置され、例えば、CCD(電荷結合素子)等により構成される撮像素子16とを有する撮像部17が設けられている。このような構成により、対物光学系15により結像された被写体の像は、撮像素子16により撮像された後、撮像信号として出力される。
撮像素子16は、信号線を介してCCU8に接続されている。そして、撮像素子16は、CCU8から出力される駆動信号に基づいて駆動するとともに、CCU8に対し、撮像した被写体の像に応じた撮像信号を出力する。
また、CCU8に入力された撮像信号は、CCU8の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。CCU8から出力された二次元画像の映像信号は、モニタ9及び医療用画像処理装置3に対して出力される。これにより、モニタ9には、CCU8から出力される映像信号に基づく被写体の像が二次元の画像として表示される。
医療用画像処理装置3は、医療用観察装置2から出力される二次元画像の映像信号に対し、A/D変換を行って出力する画像入力部21と、画像入力部21から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのCPU22と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部23と、画像入力部21から出力される映像信号等を記憶する画像記憶部24と、CPU22が行う画像処理における演算結果等を記憶する解析情報記憶部25とを有する。
また、医療用画像処理装置3は、記憶装置インターフェース26と、記憶装置インターフェース26を介してCPU22の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク27と、CPU22の画像処理結果としての画像データに基づき、該画像データをモニタ4に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部28と、CPU22が行う画像処理におけるパラメータ及び医療用画像処理装置3に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部29とを有する。そして、モニタ4は、表示処理部28から出力される画像信号に基づく画像を表示する。
なお、医療用画像処理装置3の画像入力部21、CPU22、処理プログラム記憶部23、画像記憶部24、解析情報記憶部25、記憶装置インターフェース26、表示処理部28及び入力操作部29は、データバス30を介して相互に接続されている。
次に、内視鏡システム1の作用について説明を行う。
まず、ユーザは、内視鏡システム1が有する各部の電源を投入した後、被検体の体腔内に内視鏡6の挿入部11を挿入する。
そして、ユーザにより挿入部11が被検体の体腔内に挿入されると、例えば、該体腔内に存在する生体組織等である被写体の像が、先端部14に設けられた撮像部17により撮像される。そして、撮像部17により撮像された被写体の像は、撮像信号としてCCU8に対して出力される。
CCU8は、図示しない信号処理回路において、撮像部17の撮像素子16から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ9は、CCU8から出力される映像信号に基づき、撮像部17により撮像された被写体の像を、例えば、図2に示すような二次元画像として表示する。また、CCU8は、撮像部17の撮像素子16から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置3に対して出力する。
医療用画像処理装置3に対して出力された二次元画像の映像信号は、画像入力部21においてA/D変換された後、CPU22に入力される。
そして、三次元モデル推定部としてのCPU22は、画像入力部21から出力される二次元画像に対し、例えば、ShapeFromShading法等を用い、該二次元画像の輝度情報等に基づく幾何学的な変換等の処理を施すことにより、該二次元画像に応じた三次元モデルを推定する(図3のステップS1)。
次に、CPU22は、画像入力部21から出力される二次元画像の色調変化と、図3のステップS1の処理により推定した三次元モデルの隆起性変化とを検出することにより、該三次元モデルにおける隆起形状を有する病変を検出するための処理の適用対象となる領域としての、処理対象領域を設定する(図3のステップS2)。具体的には、CPU22は、例えば、画像入力部21から出力される二次元画像を、R(赤)画像、G(緑)画像及びB(青)画像の各プレーン画像に分離した後、該R画像に応じて推定した三次元モデルのデータに基づいて隆起性変化を検出するとともに、該R画像及びG画像の色度に基づいて色調変化を検出する。そして、CPU22は、前記隆起性変化の検出結果及び前記色調変化の検出結果に基づき、前記隆起性変化及び前記色調変化の両方が検出された領域を、前記処理対象領域として設定する。なお、以降においては、説明の簡単のため、図3のステップS2に示す処理により、図2に示す二次元画像に応じて推定された三次元モデル全域が前記処理対象領域として設定されたとする。
その後、CPU22は、三次元モデルにおいて、ポリープ等の局所的な隆起形状を有する病変を検出する際に用いる病変検出基準を設定するための処理として、以降に記す病変検出基準設定処理を行う(図2のステップS3)。
画像分割部としてのCPU22は、病変検出基準設定処理として、まず、三次元モデル推定の際に用いた、例えば、図2に示す二次元画像を、図5に示すように、少なくとも1以上の画素からなるL個(2≦L)の領域Hi(1≦i≦L)に分割する(図4のステップS11)。
次に、特徴量算出部としてのCPU22は、変数i=1と設定した(図4のステップS12)後、領域Hiにおける特徴量として、該領域Hiが有する各画素の濃淡値の平均値Mi、該領域Hiが有する各画素の濃淡値の分散Vi、及び該領域Hiの周波数成分Siを算出する(図4のステップS13)。なお、領域Hiの周波数成分Siは、例えば、Sobelフィルタまたはラプラシアンフィルタ等を用いたフィルタ処理を該領域Hiに対して行うことにより得られるものであるとする。
その後、CPU22は、二次元画像の領域Hiに相応する三次元モデルの領域において二次曲面近似を行う際に用いられる立方領域のサイズの初期値をN×N×Nに設定する(図4のステップS14)。
病変検出基準設定部としてのCPU22は、図4のステップS13に示す処理において算出した、領域Hiにおける濃淡値の平均値Miに基づく比較処理を行う。そして、CPU22は、濃淡値の平均値Miが閾値thre1以下であることを検出した場合(図4のステップS15)、Nの値に1を加えた(図4のステップS17)後、後述する図4のステップS20の処理を行う。また、CPU22は、濃淡値の平均値Miが閾値thre1より大きく、かつ、閾値thre2より小さいことを検出した場合(図4のステップS16)、Nの値を変更することなく(図4のステップS18)、後述する図4のステップS20の処理を行う。さらに、CPU22は、濃淡値の平均値Miが閾値thre2以上であることを検出した場合(図4のステップS16)、Nの値から1を減じた(図4のステップS19)後、後述する図4のステップS20の処理を行う。
すなわち、領域Hiにおける濃淡値の平均値Miは、二次元画像上の明るい部分(明部領域)において比較的大きな値となる。そのため、二次元画像の明部領域に相応する三次元モデルの領域には、データが密な状態として存在する。そして、前述した、図4のステップS15、図4のステップS16及び図4のステップS19に示す各処理を行うことにより、推定された三次元モデルのデータが密な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを小さくすることができる。
また、領域Hiにおける濃淡値の平均値Miは、二次元画像上の暗い部分(暗部領域)において比較的小さな値となる。そのため、二次元画像の暗部領域に相応する三次元モデルの領域には、データが疎な状態として存在する。そして、前述した、図4のステップS15及び図4のステップS17に示す各処理を行うことにより、推定された三次元モデルのデータが疎な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを大きくすることができる。
CPU22は、図4のステップS13に示す処理において算出した、領域Hiにおける濃淡値の分散Viに基づく比較処理を行う。そして、CPU22は、濃淡値の分散Viが閾値thre3以下であることを検出した場合(図4のステップS20)、Nの値から1を減じた(図4のステップS22)後、後述する図4のステップS25の処理を行う。また、CPU22は、濃淡値の分散Viが閾値thre3より大きく、かつ、閾値thre4より小さいことを検出した場合(図4のステップS21)、Nの値を変更することなく(図4のステップS23)、後述する図4のステップS25の処理を行う。さらに、CPU22は、濃淡値の分散Viが閾値thre4以上であることを検出した場合(図4のステップS21)、Nの値に1を加えた(図4のステップS24)後、後述する図4のステップS25の処理を行う。
すなわち、領域Hiにおける濃淡値の分散Viは、二次元画像上のエッジが多く存在する部分において比較的大きな値となる。そのため、二次元画像のエッジが存在する領域に相応する三次元モデルの領域には、データが密な状態として存在する。そして、前述した、図4のステップS20及び図4のステップS22に示す各処理を行うことにより、推定された三次元モデルのデータが密な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを小さくすることができる。
また、領域Hiにおける濃淡値の分散Viは、二次元画像上のエッジが存在しない(またはエッジの数が少ない)部分において比較的小さな値となる。そのため、二次元画像のエッジが存在しない(またはエッジの数が少ない)領域に相応する三次元モデルの領域には、データが疎な状態として存在する。そして、前述した、図4のステップS20、図4のステップS21及び図4のステップS24に示す各処理を行うことにより、推定された三次元モデルのデータが疎な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを大きくすることができる。
CPU22は、図4のステップS13に示す処理において算出した、領域Hiにおける周波数成分Siに基づく比較処理を行う。そして、CPU22は、周波数成分Siが閾値thre5以下であることを検出した場合(図4のステップS25)、Nの値から1を減じた(図4のステップS27)後、後述する図4のステップS30の処理を行う。また、CPU22は、周波数成分Siが閾値thre5より大きく、かつ、閾値thre6より小さいことを検出した場合(図4のステップS26)、Nの値を変更することなく(図4のステップS28)、後述する図4のステップS30の処理を行う。さらに、CPU22は、周波数成分Siが閾値thre6以上であることを検出した場合(図4のステップS26)、Nの値に1を加えた(図4のステップS29)後、後述する図4のステップS30の処理を行う。
すなわち、領域Hiにおける周波数成分Siは、二次元画像上のエッジが(多く)存在する部分において比較的大きな値となる。そのため、二次元画像のエッジが(多く)存在する領域に相応する三次元モデルの領域には、データが密な状態として存在する。そして、前述した、図4のステップS25及び図4のステップS27に示す各処理を行うことにより、推定された三次元モデルのデータが密な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを小さくすることができる。
また、領域Hiにおける周波数成分Siは、二次元画像上のエッジが存在しない(またはエッジの数が少ない)部分において比較的小さな値となる。そのため、二次元画像のエッジが存在しない(またはエッジの数が少ない)領域に相応する三次元モデルの領域には、データが疎な状態として存在する。そして、前述した、図4のステップS25、図4のステップS26及び図4のステップS29に示す各処理を行うことにより、推定された三次元モデルのデータが疎な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを大きくすることができる。
CPU22は、二次元画像の領域Hiに相応する三次元モデルの領域において二次曲面近似を行う際に用いられる立方領域のサイズを、前述した、図4のステップS15からステップS29までの処理を行うことにより変更されたサイズとして決定する(図4のステップS30)。そして、CPU22は、図4のステップS30において決定した立方領域のサイズを、二次元画像の領域Hiに相応する三次元モデルの領域における、病変検出基準として設定する。
その後、CPU22は、L個の領域Hi全てに対して前述した処理が行われたか否か、すなわち、変数i=Lであるか否かの判定を行う。そして、CPU22は、i=Lではないことを検出した場合(図4のステップS31)、変数iに1を加える処理を行った(図4のステップS32)後、前述した、図4のステップS13からステップS31までに示す処理を再度行う。また、CPU22は、i=Lであることを検出した場合(図4のステップS31)、病変検出基準設定処理を終了する。
CPU22は、図4に示す病変検出基準設定処理において設定した病変検出基準に基づき、図3のステップS2により設定した処理対象領域に存在する各ボクセルに対し、ShapeIndex値及びCurvedness値を算出する処理を行う(図3のステップS4)。
ここで、本実施形態における、図3のステップS4の処理の詳細を以降に記す。
CPU22は、図4に示す病変検出基準設定処理において設定した、病変検出基準としての立方領域のサイズに基づき、二次元画像の各領域Hiに相応する三次元モデルの各領域における二次曲面近似を行う。
図2に示す二次元画像における暗部領域であって、かつ、エッジが存在しない領域に相応する三次元モデルの領域においては、局所的な隆起形状を有する病変を検出する際に有用なデータが疎な状態として存在する。そのため、CPU22は、三次元モデルのデータが疎な領域においては、例えば、図6に示すように、病変検出基準として、5×5×5のサイズの立方領域を用いつつ二次曲面近似を行う。
また、図2に示す二次元画像における、明部領域と暗部領域との境界の領域であって、かつ、エッジが存在する領域に相応する三次元モデルの領域においては、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在する。そのため、CPU22は、三次元モデルのデータが密な領域においては、例えば、図7に示すように、病変検出基準として、3×3×3のサイズの立方領域を用いつつ二次曲面近似を行う。
そして、CPU22は、前述した二次曲面近似の結果に基づき、三次元モデルの各領域における局所偏微分係数を算出するとともに、該局所偏微分係数に基づき、該三次元モデルが有する各ボクセルにおける凹凸の状態を示すための値であるShapeIndex値、及び、該三次元モデルが有する各ボクセルにおける曲率を示すための値であるCurvedness値を算出する。なお、局所偏微分係数に基づいてShapeIndex値及びCurvedness値を算出する方法は、例えば、US Patent Application No.20030223627に記載されている方法と同様の方法により算出可能である。そのため、本実施形態においては、ShapeIndex値及びCurvedness値の詳細な算出方法に関しては、説明を省略する。
その後、CPU22は、図3のステップS4の処理により算出したShapeIndex値及びCurvedness値に基づく閾値処理等の処理を行うことにより、図3のステップS2により設定した処理対象領域に存在する各ボクセルのうち、局所的な隆起形状を有する病変が存在するボクセルを検出する(図3のステップS5)。
CPU22は、図3のステップS5の処理の検出結果に基づき、局所的な隆起形状を有する病変の存在が示唆された各ボクセルの位置を示すための制御として、文字列または着色等を三次元モデルに重畳させる制御を表示処理部28に対して行った(図3のステップS6)後、以上に述べた一連の処理を終了する。
これにより、モニタ4には、ポリープ等の局所的な隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の三次元モデルが画像表示される。
本実施形態の医療用画像処理装置3は、以上に述べた、図3及び図4に示す一連の処理を行うことにより、三次元モデルにおける、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる。
(第2の実施形態)
図8から図22は、本発明の第2の実施形態に係るものである。図8は、図3における病変検出基準設定処理として、第2の実施形態において行われる処理の一例を示すフローチャートである。図9は、図8における二次元画像分割処理の一例を示すフローチャートである。図10は、図9の処理において用いられる二次元画像の一例を示す図である。図11は、図9の処理により検出されたエッジの一例を示す図である。図12は、図9の処理により検出されたエッジの、図11とは異なる例を示す図である。図13は、図11の各エッジを、図12のエッジに基づいて伸ばした状態を示す図である。図14は、図9の処理により図10の二次元画像が領域分割された場合の処理結果を示す図である。図15は、図8における二次元画像分割処理の、図9とは異なる例を示すフローチャートである。図16は、図15の処理により検出されたエッジの一例を示す図である。図17は、図15の処理により図10の二次元画像の一部が領域分割された状態の一例を示す図である。図18は、図15の処理により図10の二次元画像の一部が領域分割された状態の、図17とは異なる例を示す図である。
また、図19は、図15の処理により図10の二次元画像が領域分割された場合の処理結果を示す図である。図20は、図8における二次元画像分割処理の、図9及び図15とは異なる例を示すフローチャートである。図21は、図20の処理により図16に示す各エッジの線幅を太らせた場合の処理結果の一例を示す図である。図22は、図20の処理により図10の二次元画像が領域分割された場合の処理結果を示す図である。
なお、第1の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第1の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム1の構成は、第1の実施形態と同様である。
次に、医療用画像処理装置3が行う画像処理動作について説明を行う。
CPU22は、第1の実施形態の説明において既述である、図3のステップS1及びステップS2と同様の処理を行った後、三次元モデルにおいてポリープ等の局所的な隆起形状を有する病変を検出する際に用いる病変検出基準を設定するための処理として、以降に記す病変検出基準設定処理を行う(図3のステップS3)。
CPU22は、病変検出基準設定処理として、まず、三次元モデル推定の際に用いた、例えば、図10に示す二次元画像を分割するための処理である、以降に記す二次元画像分割処理を行う(図8のステップS101)。
画像情報抽出部としてのCPU22は、二次元画像分割処理として、まず、三次元モデル推定の際に用いた二次元画像が有する各画素の濃淡に応じた画像情報である、該二次元画像のエッジをフィルタ処理により抽出する(図9のステップS111)とともに、抽出した各エッジの長さを算出する(図9のステップS112)。
次に、CPU22は、二次元画像の各エッジのうち、長さが閾値threL以上または閉曲線であるP本のエッジを検出する(図9のステップS113)とともに、検出した該P本のエッジ各々に対し、例えば、E1、E2、…、Ej、…(1≦j≦P)というような番号を長さが長い順に付与する(図9のステップS114)。具体的には、前述した、図9のステップS111からステップS114までの処理が行われることにより、図10に示す二次元画像上に存在する各エッジのうち、以降の処理において主に用いられるエッジとして、例えば、図11に示すような、エッジE1からエッジE4までの4本のエッジが検出される。
その後、CPU22は、変数j=1と設定した(図9のステップS115)後、エッジEjが閉曲線であるか否かを判定する。そして、CPU22は、エッジEjが閉曲線であることを検出した場合(図9のステップS116)、後述する図9のステップS119に示す処理を行う。また、CPU22は、エッジEjが閉曲線ではないことを検出した場合(図9のステップS116)、さらに、該エッジEjの両端点が他のエッジまたはフレーム(画像の縁部)のいずれかに接しているか否かの判定を行う。
CPU22は、エッジEjの両端点が他のエッジまたはフレームのいずれかに接していることを検出した場合(図9のステップS117)、後述する図9のステップS119に示す処理を行う。また、CPU22は、エッジEjの両端点のうち、少なくとも一方の端点が他のエッジまたはフレームのいずれにも接していないことを検出した場合(図9のステップS117)、該エッジEjの両端点が他のエッジまたはフレームのいずれかに接するまで、該エッジEjを伸ばす(図9のステップS118)。
ここで、図9のステップS118の処理の詳細の一例を以降に記す。
CPU22は、例えば、図9のステップS111の処理において用いたフィルタに比べ、周波数成分の閾値が低いフィルタによるフィルタ処理を行うことにより、二次元画像上に存在するエッジを抽出する。具体的には、CPU22は、前記フィルタ処理を行うことにより、例えば、図10に示す二次元画像に存在するエッジとして、図12に示す各エッジを抽出する。
そして、CPU22は、前記フィルタ処理により抽出した各エッジを参照しつつ、エッジEjの両端点のうち、他のエッジまたはフレームのいずれにも接していない端点から該エッジEjを伸ばしてゆく。このような処理により、エッジEjの両端点は、他のエッジまたはフレームのいずれか一方に接した状態となる。具体的には、CPU22は、図12に示す各エッジを参照しつつ、図11に示すエッジE1からエッジE4の各エッジを伸ばすことにより、例えば、図13に示すような処理結果を得る。
さらに、CPU22は、P本のエッジEj全てに対して前述した処理が行われたか否か、すなわち、変数j=Pであるか否かの判定を行う。そして、CPU22は、j=Pではないことを検出した場合(図9のステップS119)、変数jに1を加える処理を行った(図9のステップS120)後、前述した、図9のステップS116からステップS119までに示す処理を再度行う。また、画像分割部としてのCPU22は、j=Pであることを検出した場合(図9のステップS119)、二次元画像をエッジE1からエッジEPを境界とする各領域として分割した(図9のステップS121)後、二次元画像分割処理を終了する。具体的には、CPU22は、以上に述べた二次元画像分割処理により、図10に示す二次元画像を、例えば、図14に示すように、図9のステップS118の処理により伸ばされたエッジE1からエッジE4を境界とする、クラス1からクラス5までの5つの領域に分割する。
そして、CPU22は、二次元画像分割処理により分割された各領域において、濃淡値の平均値等の特徴量を算出し(図8のステップS102)、算出した該特徴量に基づき、二次元画像分割処理により分割された各領域に相応する三次元モデルの領域において二次曲面近似(及びShapeIndex値及びCurvedness値の算出)を行う際に用いられる立方領域のサイズを決定した(図8のステップS103)後、病変検出基準設定処理を終了する。
すなわち、CPU22は、前述した病変検出基準設定処理により、二次元画像分割処理により分割された領域各々に相応する三次元モデルの領域において、二次曲面近似(及びShapeIndex値及びCurvedness値の算出)を行う際に用いられる立方領域のサイズを決定する。具体的には、図9に示す各処理としての二次元画像分割処理が用いられた場合、図14に示す、二次元画像におけるクラス1からクラス5までの各領域のうち、例えば、クラス1及びクラス2の領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが疎な状態として存在する領域として検出される。そのため、CPU22は、図14のクラス1及びクラス2に示す領域に相応する三次元モデルの領域においては、比較的大きなサイズの立方領域を病変検出基準として用いつつ、以降の処理である二次曲面近似(及びShapeIndex値及びCurvedness値の算出)を行う。また、図9に示す各処理としての二次元画像分割処理が用いられた場合、図14に示す、二次元画像におけるクラス1からクラス5までの各領域のうち、例えば、クラス3、クラス4及びクラス5の領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在する領域として検出される。そのため、CPU22は、図14のクラス3からクラス5に示す領域に相応する三次元モデルの領域においては、比較的小さなサイズの立方領域を病変検出基準として用いつつ、以降の処理である二次曲面近似(及びShapeIndex値及びCurvedness値の算出)を行う。
また、CPU22は、図8に示す病変検出基準設定処理において設定した病変検出基準に基づき、図3のステップS2により設定した処理対象領域に存在する各ボクセルに対し、ShapeIndex値及びCurvedness値を算出する処理を行う(図3のステップS4)。なお、二次曲面近似及びShapeIndex値及びCurvedness値の算出方法は、第1の実施形態の方法と略同様の方法を用いることが可能であるため、本実施形態においては説明を省略する。
その後、CPU22は、第1の実施形態の内容として前述した、図3のステップS5及びステップS6の処理を行った後、一連の処理を終了する。すなわち、CPU22は、ShapeIndex値及びCurvedness値に基づいて局所的な隆起形状を有する病変が存在するボクセルを検出するとともに、該検出結果に基づき、局所的な隆起形状を有する病変の存在が示唆された各ボクセルの位置を示すための制御を表示処理部28に対して行った後、一連の処理を終了する。
これにより、モニタ4には、ポリープ等の局所的な隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の三次元モデルが画像表示される。
本実施形態の医療用画像処理装置3は、以上に述べた、図3、図8及び図9に示す一連の処理を行うことにより、三次元モデルにおける、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる。
なお、図8に示す病変検出基準設定処理の一部に含まれる二次元画像分割処理は、図9に示す各処理に限らず、例えば、図15に示す各処理であっても良い。
図15に示す二次元画像分割処理について説明を行う。
CPU22は、二次元画像分割処理として、まず、三次元モデル推定の際に用いた二次元画像のエッジをフィルタ処理により抽出する(図15のステップS131)とともに、抽出した各エッジの長さを算出する(図15のステップS132)。具体的には、CPU22は、例えば、図10に示す二次元画像上において、図16に示す位置に存在する各エッジを抽出するとともに、該各エッジの長さを算出する。
次に、CPU22は、二次元画像の領域未分割部分に存在する各エッジのうち、最も長い一のエッジを検出する(図15のステップS133)とともに、該一のエッジが存在する二次元画像上の各座標のうち、水平座標の最大値x_max、水平座標の最小値x_min、垂直座標の最大値y_max、及び垂直座標の最小値y_minを抽出する(図15のステップS134)。具体的には、二次元画像全域が領域未分割部分である場合、CPU22は、図17に示すように、図15のステップS131に示す処理により抽出した各エッジのうち、最も長いエッジであるエッジE11を検出する。そして、CPU22は、図17に示すように、エッジE11が存在する二次元画像上の各座標のうち、水平座標の最大値x_max1、水平座標の最小値x_min1、垂直座標の最大値y_max1、及び垂直座標の最小値y_min1を抽出する。なお、本実施形態においては、二次元画像の最も左上に位置する画素を原点座標として設定するものであるとする。
また、CPU22は、x_max、x_min、y_max、及びy_minの4つの座標により囲まれる矩形領域を、1つのクラスに属する領域として分割する(図15のステップS135)。具体的には、CPU22は、エッジE11が存在する各座標に基づいて抽出された、x_max1、x_min1、y_max1、及びy_min1の4つの座標により囲まれる矩形領域を、クラス1に属する領域として分割する。
その後、CPU22は、二次元画像の領域未分割部分にエッジが存在するか否かを検出する。そして、CPU22は、二次元画像の領域未分割部分にエッジが存在することを検出した場合(図15のステップS136)、図15のステップS133からステップS135までの処理を再度行いつつ、二次元画像における領域分割を行う。具体的には、CPU22は、クラス1に属する領域を分割した後、図18に示すように、クラス1に属する領域として分割された部分以外の、二次元画像の領域未分割部分において、最も長いエッジであるエッジE12を検出する。さらに、CPU22は、エッジE12が存在する各座標に基づいて水平座標の最大値x_max2、水平座標の最小値x_min2、垂直座標の最大値y_max2、及び垂直座標の最小値y_min2の4つの座標を抽出するとともに、抽出した該4つの座標により囲まれる矩形領域を、クラス2に属する領域として分割する。そして、CPU22は、二次元画像の領域未分割部分にエッジが存在しなくなるまで、前述した各処理を繰り返し行う。
また、CPU22は、二次元画像の領域未分割部分にエッジが存在しないことを検出した場合(図15のステップS136)、二次元画像における残りの領域未分割部分を1つのクラスに属する領域とした(図15のステップS137)後、二次元画像分割処理を終了する。具体的には、CPU22は、以上に述べた二次元画像分割処理により、図10に示す二次元画像を、例えば、図19に示すように、二次元画像上にエッジが存在する領域であるクラス1からクラス7の領域と、二次元画像上にエッジが存在しない領域であるクラス8の領域とを合わせた、8つの領域に分割する。
図15に示す各処理としての二次元画像分割処理が用いられた場合、例えば、二次元画像上にエッジが存在する領域である、図19のクラス1からクラス7に示す領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在する領域として検出される。そのため、CPU22は、図19のクラス1からクラス7に示す領域に相応する三次元モデルの領域においては、比較的小さなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似(及びShapeIndex値及びCurvedness値の算出)を行う。また、図15に示す各処理としての二次元画像分割処理が用いられた場合、例えば、二次元画像上にエッジが存在しない領域である、図19のクラス8に示す領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが疎な状態として存在する領域として検出される。そのため、CPU22は、図19のクラス8に示す領域に相応する三次元モデルの領域においては、比較的大きなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似(及びShapeIndex値及びCurvedness値の算出)を行う。
なお、図8に示す病変検出基準設定処理の一部に含まれる二次元画像分割処理は、図9及び図15に示す各処理に限らず、例えば、図20に示す各処理であっても良い。
図20に示す二次元画像分割処理について説明を行う。
CPU22は、二次元画像分割処理として、まず、三次元モデル推定の際に用いた二次元画像のエッジをフィルタ処理により抽出する(図20のステップS141)。この処理により、CPU22は、例えば、図10に示す二次元画像上において、図16に示す位置に存在する各エッジを抽出する。
次に、CPU22は、図20のステップS141の処理により抽出した各エッジを膨張させる(図20のステップS142)。換言すると、CPU22は、図20のステップS141の処理により抽出した各エッジに沿って存在する各画素を、該各エッジの一部を構成する画素であるとして検出することにより、該一のエッジの線幅を太らせる処理を行う。この処理により、CPU22は、例えば、図16に示す位置に存在する各エッジを、図21に示すような状態として膨張させる。
その後、CPU22は、膨張させる前の各エッジの状態を参照しつつ、膨張させた後の各エッジに対してクラスを設定するとともに(図20のステップS143)、クラス未分類の部分を1つのクラスに属する領域として設定する(図20のステップS144)。具体的には、CPU22は、図21に示すような状態として膨張させた各エッジを、例えば、図22に示すように、クラス1からクラス9までの各クラスに属する領域として設定するとともに、クラス未分類の部分をクラス10に属する領域として設定する。
図20に示す各処理としての二次元画像分割処理が用いられた場合、例えば、二次元画像上にエッジが存在する領域である、図22のクラス1からクラス9に示す領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在する領域として検出される。そのため、CPU22は、図22のクラス1からクラス9に示す領域に相応する三次元モデルの領域においては、比較的小さなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似(及びShapeIndex値及びCurvedness値の算出)を行う。また、図20に示す各処理としての二次元画像分割処理が用いられた場合、例えば、二次元画像上にエッジが存在しない領域である、図22のクラス10に示す領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが疎な状態として存在する領域として検出される。そのため、CPU22は、図22のクラス10に示す領域に相応する三次元モデルの領域においては、比較的大きなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似(及びShapeIndex値及びCurvedness値の算出)を行う。
なお、図8に示す病変検出基準設定処理の一部に含まれる二次元画像分割処理は、図9、図15及び図20に示す各処理に限らず、三次元モデル推定の際に用いた二次元画像が有する各画素の濃淡に応じた画像情報として、例えば、該二次元画像の各画素の濃淡値を抽出するとともに、該濃淡値に基づくクラス分けを行うような画像分割処理であっても良い。
その場合、CPU22は、三次元モデル推定の際に用いた二次元画像の各画素の濃淡値に基づき、例えば、濃淡値が近い画素同士を同一のクラスに属するとして領域分割を行う。そして、CPU22は、二次元画像上の濃淡値が小さな値となる画素が属する領域に相応する三次元モデルの領域においては、比較的大きなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似(及びShapeIndex値及びCurvedness値の算出)を行う。また、CPU22は、二次元画像上の濃淡値が大きな値となる画素が属する領域に相応する三次元モデルの領域においては、比較的小さなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似(及びShapeIndex値及びCurvedness値の算出)を行う。
(第3の実施形態)
図23から図27は、本発明の第3の実施形態に係るものである。図23は、図1の医療用画像処理装置が第3の実施形態において行う処理の手順を示すフローチャートである。図24は、図23における病変検出基準設定処理として、第3の実施形態において行われる処理の一例を示すフローチャートである。図25は、図24の処理において算出される距離LHと、重み係数ωとの相関関係を示す図である。図26は、図23における病変検出基準設定処理として、第3の実施形態において行われる処理の、図24とは異なる例を示すフローチャートである。図27は、図26の処理により二次元画像の縁部として検出される領域を示す図である。
なお、第1の実施形態及び第2の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第1の実施形態及び第2の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム1の構成は、第1の実施形態及び第2の実施形態と同様である。
次に、医療用画像処理装置3が行う画像処理動作について説明を行う。
CPU22は、図23のステップS201及びステップS202に示す処理として、第1の実施形態の説明において既述である、図3のステップS1及びステップS2と同様の処理を行った後、三次元モデルにおいて局所的な隆起形状を有する病変を検出する際に用いる病変検出基準を設定するための処理として、以降に記す病変検出基準設定処理を行う(図23のステップS203)。
画像分割部としてのCPU22は、病変検出基準設定処理として、まず、三次元モデル推定の際に用いた二次元画像をQ個の領域Hk(1≦k≦Q)に分割し(図24のステップS211)、k=1に設定する(図24のステップS212)とともに、ShapeIndex値の閾値をthreSI1、及び、Curvedness値の閾値をthreCV1に設定する(図24のステップS213)。
次に、画像位置検出部としてのCPU22は、領域Hkの中心座標(Hkx,Hky)を抽出するとともに(図24のステップS214)、該領域Hkと二次元画像上の所定の位置との位置関係を検出するために、該中心座標(Hkx,Hky)と、二次元画像の中心座標(Ix,Iy)との間の距離LHを算出する(図24のステップS215)。なお、本実施形態においては、二次元画像の最も左上に位置する画素を原点座標として設定するものであるとする。
また、CPU22は、距離LHに基づき、重み係数ωを設定するとともに(図24のステップS216)、閾値threSI1及び閾値threCV1に重み係数ωを積算した値を新たな閾値として設定する(図24のステップS217)。
さらに、CPU22は、Q個の領域Hk全てに対して前述した処理が行われたか否か、すなわち、変数k=Qであるか否かの判定を行う。そして、CPU22は、k=Qではないことを検出した場合(図24のステップS218)、変数kに1を加える処理を行った(図24のステップS219)後、前述した、図24のステップS213からステップS218までに示す処理を再度行う。また、CPU22は、k=Qであることを検出した場合(図24のステップS218)、領域Hk各々において算出した、閾値threSI1及び閾値threCV1に重み係数ωを積算した値を、該領域Hk各々に相応する三次元モデルの領域における病変検出基準として保持しつつ、病変検出基準設定処理を終了する。なお、本実施形態における重み係数ωは、例えば、図25に示すように、距離LHの値に応じて線形的に増加してゆく値であるとする。
その後、CPU22は、処理対象領域に存在する各ボクセルに対し、ShapeIndex値及びCurvedness値を算出する処理を行う(図23のステップS204)。すなわち、CPU22は、予め設定された所定の立方領域サイズを用いつつ二次曲面近似を行い、該二次曲面近似の結果に基づき、三次元モデルの各領域における局所偏微分係数を算出するとともに、該局所偏微分係数に基づき、該三次元モデルが有する各ボクセルにおける凹凸の状態を示すための値であるShapeIndex値、及び、該三次元モデルが有する各ボクセルにおける曲率を示すための値であるCurvedness値を算出する。
なお、前述したShapeIndex値は、三次元モデルが有する各ボクセルにおける凹凸の状態を示すための値であり、0以上1以下の範囲内の数値として示される。具体的には、三次元モデル内に存在する一のボクセル(または一のボクセル群)において、ShapeIndex値が0に近い場合には凹型形状の存在が示唆され、また、ShapeIndex値が1に近い場合には凸型形状の存在が示唆される。また、前述したCurvedness値は、三次元モデルが有する各ボクセルにおける曲率を示すための値である。具体的には、三次元モデル内に存在する一のボクセル(または一のボクセル群)において、Curvedness値が小さければ小さい程鋭く曲がった曲面の存在が示唆され、また、Curvedness値が大きければ大きい程鈍く曲がった曲面の存在が示唆される。
CPU22は、図23のステップS203において設定した病変検出基準と、図23のステップS204において算出したShapeIndex値及びCurvedness値とに基づき、三次元モデルの処理対象領域に存在する各ボクセルのうち、局所的な隆起形状を有する病変が存在するボクセルを検出する(図23のステップS205)。
その後、CPU22は、図23のステップS206に示す処理として、第1の実施形態の説明において既述である、図3のステップS6と同様の処理を行った後、一連の処理を終了する。すなわち、CPU22は、図23のステップS205の処理における検出結果に基づき、局所的な隆起形状を有する病変の存在が示唆された各ボクセルの位置を示すための制御を表示処理部28に対して行った後、一連の処理を終了する。
これにより、モニタ4には、ポリープ等の局所的な隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の三次元モデルが画像表示される。
ところで、二次元画像から三次元モデルが推定される場合、該二次元画像の縁部に相応する該三次元モデルの領域は、丸みを帯びた状態として推定される場合がある。そして、CPU22は、図24に示す病変検出基準設定処理を用いることにより、二次元画像の縁部に相応する三次元モデルの領域における病変検出基準として、該二次元画像の縁部以外の部分に相応する三次元モデルの領域における病変検出基準に比べて厳しい検出基準を用いつつ、すなわち、前述したような、丸みを帯びた状態として推定される領域を検出対象から除きつつ、局所的な隆起形状を有する病変が存在するボクセルの検出を行うことができる。その結果、本実施形態の医療用画像処理装置3は、二次元画像から推定された三次元モデルにおいて、特に、該二次元画像の縁部に相応する該三次元モデルの領域に存在する、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる。
なお、図23に示す病変検出基準設定処理は、図24に示す各処理に限らず、前述した本実施形態の効果と略同様の効果を得ることが可能な処理として、例えば、図26に示す各処理であっても良い。
図26に示す病変検出基準設定処理について説明を行う。
画像分割部としてのCPU22は、病変検出基準設定処理として、まず、三次元モデル推定の際に用いた二次元画像をR個の領域Hm(1≦m≦R)に分割し(図26のステップS221)、m=1に設定する(図26のステップS222)とともに、領域Hmの中心座標(Hmx,Hmy)を抽出する(図26のステップS223)。
次に、画像位置検出部としてのCPU22は、抽出した領域Hmの中心座標に基づき、該領域Hmと二次元画像上の所定の位置との位置関係を検出するために、座標(Hmx,Hmy)が該二次元画像の縁部に存在するか否かを判定する。具体的には、CPU22は、まず、Hmx<thre7またはHmx>thre8であるか否かを検出する。そして、CPU22は、Hmx<thre7またはHmx>thre8のいずれかであることを検出した場合(図26のステップS224)、後述する図26のステップS226の処理を行う。また、CPU22は、Hmx<thre7及びHmx>thre8のいずれでもないことを検出した場合(図26のステップS224)、さらに、Hmy<thre7またはHmy>thre8であるか否かを検出する。
CPU22は、Hmy<thre7またはHmy>thre8のいずれかであることを検出した場合(図26のステップS225)、後述する図26のステップS226の処理を行う。また、CPU22は、Hmy<thre7及びHmy>thre8のいずれでもないことを検出した場合(図26のステップS225)、後述する図26のステップS227の処理を行う。
病変検出基準設定部としてのCPU22は、領域Hmの中心座標(Hmx,Hmy)が、前述した、図26のステップS224またはステップS225に示す条件のうち、いずれか一方の条件を満たす場合、ShapeIndex値の閾値をthreSI11、及び、Curvedness値の閾値をthreCV11に設定する(図24のステップS226)。また、病変検出基準設定部としてのCPU22は、領域Hmの中心座標(Hmx,Hmy)が、前述した、図26のステップS224及びステップS225に示す条件の、いずれの条件も満たさない場合、ShapeIndex値の閾値をthreSI12(<threSI11)、及び、Curvedness値の閾値をthreCV12(<threCV11)に設定する(図24のステップS227)。
換言すると、CPU22は、領域Hmの中心座標(Hmx,Hmy)が、二次元画像の縁部である、例えば、図27に示す斜線領域内の座標に存在している場合に、ShapeIndex値の閾値をthreSI11、及び、Curvedness値の閾値をthreCV11に設定する。また、CPU22は、領域Hmの中心座標(Hmx,Hmy)が、二次元画像の縁部以外の部分である、例えば、図27に示す斜線領域以外の座標に存在している場合に、ShapeIndex値の閾値をthreSI12、及び、Curvedness値の閾値をthreCV12に設定する。
さらに、CPU22は、R個の領域Hm全てに対して前述した処理が行われたか否か、すなわち、変数m=Rであるか否かの判定を行う。そして、CPU22は、m=Rではないことを検出した場合(図26のステップS228)、変数mに1を加える処理を行った(図26のステップS229)後、前述した、図26のステップS223からステップS228までに示す処理を再度行う。また、CPU22は、m=Rであることを検出した場合(図26のステップS228)、領域Hm各々において設定した、ShapeIndex値の閾値及びCurvedness値の閾値を、該領域Hm各々に相応する三次元モデルの領域における病変検出基準として保持しつつ、病変検出基準設定処理を終了する。
なお、図23に示す病変検出基準設定処理は、図24及び図26に示す各処理に限らず、三次元モデルにおける局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることが可能な処理として、例えば、三次元モデル推定の際に用いた二次元画像の濃淡値に基づく処理であっても良い。具体的には、CPU22は、三次元モデル推定の際に用いた二次元画像を複数の領域に分割し、該複数の領域各々における濃淡値の平均値を算出する。そして、CPU22は、複数の領域各々における濃淡値の平均値の算出結果に基づき、例えば、二次元画像における濃淡値が小さい領域に相応する三次元モデルの領域、すなわち、局所的な隆起形状を有する病変を検出する際に有用なデータが疎な状態として存在する三次元モデルの領域においては、ShapeIndex値の閾値及びCurvedness値の閾値を相対的に大きな値として設定する。また、CPU22は、複数の領域各々における濃淡値の平均値の算出結果に基づき、例えば、二次元画像における濃淡値が大きい領域に相応する三次元モデルの領域、すなわち、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在する三次元モデルの領域においては、ShapeIndex値の閾値及びCurvedness値の閾値を相対的に小さな値として設定する。
本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。 図1の内視鏡システムにより撮像された被写体の像の二次元画像の一例を示す図。 図1の医療用画像処理装置が第1の実施形態において行う処理の手順を示すフローチャート。 図3における病変検出基準設定処理として、第1の実施形態において行われる処理の一例を示すフローチャート。 図2に示す二次元画像が複数の領域に分割された場合の処理結果の一例を示す図。 図1の医療用画像処理装置により推定された三次元モデルに対し、図4の各処理により設定された病変検出基準が適用されている状態の一例を示す図。 図1の医療用画像処理装置により推定された三次元モデルに対し、図4の各処理により設定された病変検出基準が適用されている状態の、図6とは異なる例を示す図。 図3における病変検出基準設定処理として、第2の実施形態において行われる処理の一例を示すフローチャート。 図8における二次元画像分割処理の一例を示すフローチャート。 図9の処理において用いられる二次元画像の一例を示す図。 図9の処理により検出されたエッジの一例を示す図。 図9の処理により検出されたエッジの、図11とは異なる例を示す図。 図11の各エッジを、図12のエッジに基づいて伸ばした状態を示す図。 図9の処理により図10の二次元画像が領域分割された場合の処理結果を示す図。 図8における二次元画像分割処理の、図9とは異なる例を示すフローチャート。 図15の処理により検出されたエッジの一例を示す図。 図15の処理により図10の二次元画像の一部が領域分割された状態の一例を示す図。 図15の処理により図10の二次元画像の一部が領域分割された状態の、図17とは異なる例を示す図。 図15の処理により図10の二次元画像が領域分割された場合の処理結果を示す図。 図8における二次元画像分割処理の、図9及び図15とは異なる例を示すフローチャート。 図20の処理により図16に示す各エッジの線幅を太らせた場合の処理結果の一例を示す図。 図20の処理により図10の二次元画像が領域分割された場合の処理結果を示す図。 図1の医療用画像処理装置が第3の実施形態において行う処理の手順を示すフローチャート。 図23における病変検出基準設定処理として、第3の実施形態において行われる処理の一例を示すフローチャート。 図24の処理において算出される距離LHと、重み係数ωとの相関関係を示す図。 図23における病変検出基準設定処理として、第3の実施形態において行われる処理の、図24とは異なる例を示すフローチャート。 図26の処理により二次元画像の縁部として検出される領域を示す図。
符号の説明
1・・・内視鏡システム、2・・・医療用観察装置、3・・・医療用画像処理装置、4,9・・・モニタ、6・・・内視鏡、7・・・光源装置、8・・・CCU、11・・・挿入部、12・・・操作部、13・・・ライトガイド、14・・・先端部、15・・・対物光学系、16・・・撮像素子、17・・・撮像部、21・・・画像入力部、22・・・CPU、23・・・処理プログラム記憶部、24・・・画像記憶部、25・・・解析情報記憶部、26・・・記憶装置インターフェース、27・・・ハードディスク、28・・・表示処理部、29・・・入力操作部、30・・・データバス

Claims (34)

  1. 医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、
    前記二次元画像を少なくとも1以上の画素からなる複数の領域に分割する画像分割部と、
    前記複数の領域各々において、一の領域が有する各画素の濃淡に応じた特徴量を算出する特徴量算出部と、
    前記濃淡に応じた特徴量に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、
    を有することを特徴とする医療用画像処理装置。
  2. 前記濃淡に応じた特徴量は、濃淡値の平均値であることを特徴とする請求項1に記載の医療用画像処理装置。
  3. 前記濃淡に応じた特徴量は、濃淡値の分散であることを特徴とする請求項1または請求項2に記載の医療用画像処理装置。
  4. さらに、前記特徴量算出部は、前記複数の領域各々において、一の領域の周波数成分を算出し、
    前記病変検出基準設定部は、前記濃淡に応じた特徴量及び前記周波数成分に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定することを特徴とする請求項1乃至請求項3のいずれか一に記載の医療用画像処理装置。
  5. 医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、
    前記二次元画像が有する各画素の濃淡に応じた画像情報を抽出する画像情報抽出部と、
    前記各画素の濃淡に応じた特徴量に基づき、前記二次元画像を複数の領域に分割する画像分割部と、
    前記画像分割部により分割された前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、
    を有することを特徴とする医療用画像処理装置。
  6. 前記各画素の濃淡に応じた画像情報は、前記各画素の濃淡値であることを特徴とする請求項5に記載の医療用画像処理装置。
  7. 前記各画素の濃淡に応じた画像情報は、前記二次元画像のエッジであることを特徴とする請求項5に記載の医療用画像処理装置。
  8. 前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を境界として前記二次元画像を複数の領域に分割することを特徴とする請求項7に記載の医療用画像処理装置。
  9. 前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を囲む矩形領域を順次設定するとともに、設定した該矩形領域各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする請求項7に記載の医療用画像処理装置。
  10. 前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を膨張させるとともに、膨張後の前記エッジ各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする請求項7に記載の医療用画像処理装置。
  11. 前記病変検出基準は、前記三次元モデルにおいて二次曲面近似を行う際に用いられる立方領域のサイズであることを特徴とする請求項1乃至請求項10のいずれか一に記載の医療用画像処理装置。
  12. 前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第1の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第2の閾値であることを特徴とする請求項1または請求項2に記載の医療用画像処理装置。
  13. 医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、
    前記二次元画像を少なくとも1以上の画素からなる複数の領域に分割する画像分割部と、
    前記二次元画像上において前記複数の領域各々が存在する位置と、前記二次元画像上の所定の位置との位置関係を検出する画像位置検出部と、
    前記画像位置検出部により検出された前記位置関係に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、
    を有することを特徴とする医療用画像処理装置。
  14. 前記二次元画像上の所定の位置は、前記二次元画像の中心座標であることを特徴とする請求項13に記載の医療用画像処理装置。
  15. 前記二次元画像上の所定の位置は、前記二次元画像の縁部であることを特徴とする請求項13に記載の医療用画像処理装置。
  16. 前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第1の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第2の閾値であることを特徴とする請求項13乃至請求項15のいずれか一に記載の医療用画像処理装置。
  17. 前記局所的な隆起形状を有する病変は、ポリープであることを特徴とする請求項1乃至請求項16のいずれか一に記載の医療用画像処理装置。
  18. 医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、
    前記二次元画像を少なくとも1以上の画素からなる複数の領域に分割する画像分割ステップと、
    前記複数の領域各々において、一の領域が有する各画素の濃淡に応じた特徴量を算出する特徴量算出ステップと、
    前記濃淡に応じた特徴量に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、
    を有することを特徴とする医療用画像処理方法。
  19. 前記濃淡に応じた特徴量は、濃淡値の平均値であることを特徴とする請求項18に記載の医療用画像処理方法。
  20. 前記濃淡に応じた特徴量は、濃淡値の分散であることを特徴とする請求項18または請求項19に記載の医療用画像処理方法。
  21. さらに、前記特徴量算出ステップは、前記複数の領域各々において、一の領域の周波数成分を算出し、
    前記病変検出基準設定ステップは、前記濃淡に応じた特徴量及び前記周波数成分に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定することを特徴とする請求項18乃至請求項20のいずれか一に記載の医療用画像処理方法。
  22. 医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、
    前記二次元画像が有する各画素の濃淡に応じた画像情報を抽出する画像情報抽出ステップと、
    前記各画素の濃淡に応じた特徴量に基づき、前記二次元画像を複数の領域に分割する画像分割ステップと、
    前記画像分割ステップにより分割された前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、
    を有することを特徴とする医療用画像処理方法。
  23. 前記各画素の濃淡に応じた画像情報は、前記各画素の濃淡値であることを特徴とする請求項22に記載の医療用画像処理方法。
  24. 前記各画素の濃淡に応じた画像情報は、前記二次元画像のエッジであることを特徴とする請求項22に記載の医療用画像処理方法。
  25. 前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を境界として前記二次元画像を複数の領域に分割することを特徴とする請求項24に記載の医療用画像処理方法。
  26. 前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を囲む矩形領域を順次設定するとともに、設定した該矩形領域各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする請求項24に記載の医療用画像処理方法。
  27. 前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を膨張させるとともに、膨張後の前記エッジ各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする請求項24に記載の医療用画像処理方法。
  28. 前記病変検出基準は、前記三次元モデルにおいて二次曲面近似を行う際に用いられる立方領域のサイズであることを特徴とする請求項18乃至請求項27のいずれか一に記載の医療用画像処理方法。
  29. 前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第1の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第2の閾値であることを特徴とする請求項18または請求項19に記載の医療用画像処理方法。
  30. 医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、
    前記二次元画像を少なくとも1以上の画素からなる複数の領域に分割する画像分割ステップと、
    前記二次元画像上において前記複数の領域各々が存在する位置と、前記二次元画像上の所定の位置との位置関係を検出する画像位置検出ステップと、
    前記画像位置検出ステップにより検出された前記位置関係に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、
    を有することを特徴とする医療用画像処理方法。
  31. 前記二次元画像上の所定の位置は、前記二次元画像の中心座標であることを特徴とする請求項30に記載の医療用画像処理方法。
  32. 前記二次元画像上の所定の位置は、前記二次元画像の縁部であることを特徴とする請求項30に記載の医療用画像処理方法。
  33. 前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第1の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第2の閾値であることを特徴とする請求項30乃至請求項32のいずれか一に記載の医療用画像処理方法。
  34. 前記局所的な隆起形状を有する病変は、ポリープであることを特徴とする請求項18乃至請求項33のいずれか一に記載の医療用画像処理方法。
JP2006228192A 2006-08-24 2006-08-24 医療用画像処理装置 Active JP4855868B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006228192A JP4855868B2 (ja) 2006-08-24 2006-08-24 医療用画像処理装置
CN2007800314647A CN101505650B (zh) 2006-08-24 2007-06-08 医疗用图像处理装置和医疗用图像处理方法
EP07744947.8A EP2057932B1 (en) 2006-08-24 2007-06-08 Medical image processing apparatus and medical image processing method
PCT/JP2007/061627 WO2008023491A1 (fr) 2006-08-24 2007-06-08 dispositif et procédé de traitement d'images à usage médical
US12/388,832 US8515141B2 (en) 2006-08-24 2009-02-19 Medical image processing apparatus and method for detecting locally protruding lesion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006228192A JP4855868B2 (ja) 2006-08-24 2006-08-24 医療用画像処理装置

Publications (2)

Publication Number Publication Date
JP2008048906A true JP2008048906A (ja) 2008-03-06
JP4855868B2 JP4855868B2 (ja) 2012-01-18

Family

ID=39106584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006228192A Active JP4855868B2 (ja) 2006-08-24 2006-08-24 医療用画像処理装置

Country Status (5)

Country Link
US (1) US8515141B2 (ja)
EP (1) EP2057932B1 (ja)
JP (1) JP4855868B2 (ja)
CN (1) CN101505650B (ja)
WO (1) WO2008023491A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143340A (ja) * 2011-01-11 2012-08-02 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
KR101950438B1 (ko) * 2018-11-12 2019-02-20 길재소프트 주식회사 관심영역에 대한 영상 차원 판별 방법 및 시스템
WO2022230160A1 (ja) * 2021-04-30 2022-11-03 オリンパスメディカルシステムズ株式会社 内視鏡システム、内腔構造算出システム及び内腔構造情報の作成方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110007954A1 (en) * 2009-07-07 2011-01-13 Siemens Corporation Method and System for Database-Guided Lesion Detection and Assessment
JP5589366B2 (ja) 2009-11-27 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
JP5658931B2 (ja) * 2010-07-05 2015-01-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US9020216B2 (en) * 2010-07-28 2015-04-28 Varian Medical Systems, Inc. Knowledge-based automatic image segmentation
US9454823B2 (en) 2010-07-28 2016-09-27 arian Medical Systems, Inc. Knowledge-based automatic image segmentation
WO2013111813A1 (ja) * 2012-01-27 2013-08-01 株式会社 東芝 医用画像処理装置
JP6045417B2 (ja) * 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6150555B2 (ja) * 2013-02-26 2017-06-21 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
JP6150554B2 (ja) * 2013-02-26 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP6128989B2 (ja) * 2013-06-27 2017-05-17 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
CN108109134B (zh) * 2013-10-28 2021-12-03 富士胶片株式会社 图像处理装置及其工作方法
EP3067716A4 (en) * 2013-11-05 2016-11-30 Shimadzu Corp CONTOUR IMAGE GENERATING DEVICE AND DIAGNOSTIC DEVICE IN NUCLEAR MEDICINE
WO2015092904A1 (ja) 2013-12-19 2015-06-25 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN111061110B (zh) 2014-05-09 2023-03-28 唯景公司 用于可着色窗户的控制方法
JPWO2016117018A1 (ja) * 2015-01-20 2017-10-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN106909770B (zh) * 2015-12-21 2020-11-03 佳能株式会社 医疗图像处理装置、其控制方法和存储介质
JP7224675B2 (ja) * 2018-05-07 2023-02-20 国立大学法人 東京大学 構造物の幾何学的特徴量算出装置、医療用画像分析システム、リバースエンジニアリング支援システム、構造最適化システム、及び、幾何学的特徴量算出プログラム
JP2020022563A (ja) * 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
CN109635121A (zh) * 2018-11-07 2019-04-16 平安科技(深圳)有限公司 医疗知识图谱创建方法及相关装置
JP7018532B1 (ja) 2021-05-07 2022-02-10 株式会社ソディック 電気集塵機および積層造形装置
CN117640932B (zh) * 2024-01-25 2024-04-26 陕西通达伟业医疗供应链管理有限公司 用于远程医疗的神经内科图像压缩传输方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11104072A (ja) * 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
JP2004500213A (ja) * 2000-04-07 2004-01-08 ザ ゼネラル ホスピタル コーポレーション デジタル腸サブトラクションおよびポリープ検出システムならびに関連技術
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006187470A (ja) * 2005-01-06 2006-07-20 Olympus Corp 医療画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US6404923B1 (en) * 1996-03-29 2002-06-11 Microsoft Corporation Table-based low-level image classification and compression system
US7130457B2 (en) * 2001-07-17 2006-10-31 Accuimage Diagnostics Corp. Systems and graphical user interface for analyzing body images
US7379572B2 (en) 2001-10-16 2008-05-27 University Of Chicago Method for computer-aided detection of three-dimensional lesions
US7418123B2 (en) * 2002-07-12 2008-08-26 University Of Chicago Automated method and system for computerized image analysis for prognosis
CN100525701C (zh) * 2002-12-12 2009-08-12 奥林巴斯株式会社 成像装置
US7412084B2 (en) * 2003-08-13 2008-08-12 Siemens Medical Solutions Usa, Inc. Method of analysis of local patterns of curvature distributions
CN1333360C (zh) * 2004-04-28 2007-08-22 复旦大学 虚拟内窥镜系统的中心线自动定位方法
US7492968B2 (en) * 2004-09-07 2009-02-17 Siemens Medical Solutions Usa, Inc. System and method for segmenting a structure of interest using an interpolation of a separating surface in an area of attachment to a structure having similar properties
JP4627491B2 (ja) 2005-01-19 2011-02-09 株式会社イマジオム クラスタコンピュータミドルウェアプログラム、クラスタコンピュータシミュレータプログラム、クラスタコンピュータ用アプリケーションプログラム、およびアプリケーションプログラム開発支援方法
WO2007077672A1 (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp. 画像処理装置および当該画像処理装置における画像処理方法
JP2007260144A (ja) * 2006-03-28 2007-10-11 Olympus Medical Systems Corp 医療用画像処理装置及び医療用画像処理方法
JP4994737B2 (ja) * 2006-07-27 2012-08-08 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11104072A (ja) * 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
JP2004500213A (ja) * 2000-04-07 2004-01-08 ザ ゼネラル ホスピタル コーポレーション デジタル腸サブトラクションおよびポリープ検出システムならびに関連技術
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006187470A (ja) * 2005-01-06 2006-07-20 Olympus Corp 医療画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143340A (ja) * 2011-01-11 2012-08-02 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
KR101950438B1 (ko) * 2018-11-12 2019-02-20 길재소프트 주식회사 관심영역에 대한 영상 차원 판별 방법 및 시스템
WO2022230160A1 (ja) * 2021-04-30 2022-11-03 オリンパスメディカルシステムズ株式会社 内視鏡システム、内腔構造算出システム及び内腔構造情報の作成方法

Also Published As

Publication number Publication date
EP2057932A1 (en) 2009-05-13
EP2057932B1 (en) 2018-12-05
US8515141B2 (en) 2013-08-20
US20090220133A1 (en) 2009-09-03
JP4855868B2 (ja) 2012-01-18
CN101505650A (zh) 2009-08-12
CN101505650B (zh) 2010-12-22
WO2008023491A1 (fr) 2008-02-28
EP2057932A4 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
JP4855868B2 (ja) 医療用画像処理装置
JP4902735B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP1994878B9 (en) Medical image processing device and medical image processing method
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
US7830378B2 (en) Medical image processing apparatus and medical image processing method
JP5011452B2 (ja) 医用画像処理装置および医用画像処理装置の制御方法
WO2008044466A1 (fr) Dispositif, procédé et programme de traitement d'image
JP2011234931A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5078486B2 (ja) 医療用画像処理装置及び医療用画像処理装置の作動方法
US20130064436A1 (en) Medical image processing apparatus and method of operating medical image processing apparatus
KR20160118037A (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
JP2011024628A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP4981335B2 (ja) 医療用画像処理装置及び医療用画像処理方法
CN116205814A (zh) 医用内窥镜图像增强方法、系统及计算机设备
JP2008093213A (ja) 医療用画像処理装置及び医療用画像処理方法
JP2007236630A (ja) 医療用画像処理装置及び医療用画像処理方法
JP2008023266A (ja) 医療用画像処理装置及び医療用画像処理方法
JP2011072811A (ja) 医用画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111027

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4855868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250