JP2017029343A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2017029343A
JP2017029343A JP2015151611A JP2015151611A JP2017029343A JP 2017029343 A JP2017029343 A JP 2017029343A JP 2015151611 A JP2015151611 A JP 2015151611A JP 2015151611 A JP2015151611 A JP 2015151611A JP 2017029343 A JP2017029343 A JP 2017029343A
Authority
JP
Japan
Prior art keywords
boundary
shape
correction
image
boundary portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015151611A
Other languages
English (en)
Other versions
JP6643827B2 (ja
Inventor
斌 陳
Hin Chin
斌 陳
大介 古川
Daisuke Furukawa
大介 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015151611A priority Critical patent/JP6643827B2/ja
Priority to US15/217,302 priority patent/US10319093B2/en
Priority to EP16181845.5A priority patent/EP3125198A1/en
Publication of JP2017029343A publication Critical patent/JP2017029343A/ja
Application granted granted Critical
Publication of JP6643827B2 publication Critical patent/JP6643827B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】付着型異常陰影として医用画像に含まれる部位の境界を補正することにより、組織の形状に基づく診断を支援することが可能になる。【解決手段】本発明の画像処理装置は、医用画像における第1の部位の境界及び第2の部位の境界を抽出する境界抽出手段と、前記第2の部位の境界に接している前記第1の部位の部分境界を第1の境界部として特定し、前記第2の部位の境界に接していない前記第1の部位の部分境界を第2の境界部として特定する境界特定手段と、前記第2の境界部に基づいて前記第1の境界部の形状を補正する補正手段とを備える。【選択図】 図2

Description

本発明は、医用画像を処理する画像処理装置、画像処理方法、及びプログラムに関する。
近年、X線コンピュータ断層撮影装置(X線CT)や核磁気共鳴映像装置(MRI)などの3次元撮影装置により撮影された医用画像の画質が飛躍的に進歩しており、詳細な人体内部情報を得ることができるようになった。しかし、それに伴って画像枚数が増加し、放射線科医の読影負担が増加しており、診断支援技術(Computer Aided Diagnosis:CAD)への期待が高まっている。
特に、がんなどの異常組織である可能性が高い異常陰影領域の自動検出や解剖学的な組織の良悪性を自動鑑別することが重要となっている。例えば、CADによる異常陰影領域の自動検出処理及び組織の良悪性鑑別処理では、被検体である生体の部位の輪郭(境界)の形状を表す形状特徴量を計算し、異常陰影であることの尤度を自動計算したり、組織の悪性度を自動計算したりする必要がある。
肺結節の良悪性鑑別処理においては、肺結節の輪郭(境界)が分葉状であることが悪性の指標の1つであり、肺結節の輪郭が多角形又は多角体であることが良性の指標の1つであると報告されている。
しかし、このような異常組織は、臓器や血管などに接している状態の組織(又は、部位)の陰影(以下、「付着型異常陰影」という)として医用画像に含まれることが多い。そして、臓器や血管などに接している面(以下、「付着面」という)と接していない面(以下、「非付着面」という)の形状特徴量が異なることが多い。なお、臓器や血管などに接していない状態の組織(又は、部位)の陰影を非付着型異常陰影という。
臨床において、医師は、付着型異常陰影における非付着面の輪郭(境界)を観察することで組織の診断を行っている。よって、CADにより付着型異常陰影の領域の形状特徴量を計算する際、付着面の輪郭(境界)を含めて形状特徴量を計算すると、算出された形状特徴量が、医師が観察したい非付着面の輪郭(境界)の形状特徴量と異なる可能性がある。
これに対し、特許文献1には、非付着面を用いて円形度を計算する技術が開示されている。具体的には、結節状領域の輪郭に合う折れ線を構成する複数の節点を求め、参照点の位置を決定し、複数の節点と参照点とに基づいて決定された複数の領域の面積を用いて円形度を算出する技術が開示されている。
特開2009−225990号公報
しかし、球面調和関数(Spherical Harmonics:SPHARM)の特徴量(例えば、形状ベクトル)や近似楕円体の長径と短径に基づく特徴量など、閉曲面(線)から計算しなければならない形状特徴量が多く存在する。特許文献1の技術では、付着面を除く非付着面を用いて円形度を計算するため、このような特徴量を求めることができない。更に、特許文献1では、円形度の計算に利用される肺結節の重心を、非付着型異常陰影の領域と同様の方法で求めるため、付着型異常陰影の領域の重心を正しく求められない可能性がある。
本発明は、付着型異常陰影として医用画像に含まれる部位について、診断支援技術(異常陰影領域の自動検出技術及び組織の良悪性鑑別技術などを含む)に利用される形状特徴量を適切に計算できる画像処理装置、画像処理方法、及びプログラムの提供を目的とする。
本発明の画像処理装置は、医用画像における第1の部位の境界(境界全体)及び第2の部位の境界(境界全体)を抽出する境界抽出手段と、前記第2の部位の境界に接している前記第1の部位の部分境界を第1の境界部として特定し、前記第2の部位の境界に接していない前記第1の部位の部分境界を第2の境界部として特定する境界特定手段と、前記第2の境界部に基づいて前記第1の境界部の形状を補正する補正手段とを備える。
本発明によれば、付着型異常陰影として医用画像に含まれる部位の境界の一部を補正することにより、組織の形状に基づく診断を支援することが可能になる。
本発明に係る画像処理装置及びそれに接続される装置のシステム構成(画像処理システム)を示す図である。 第1の実施形態に係る制御部を含む画像処理システムの機能構成を示す図である。 第1の実施形態の画像処理装置が実行する処理を示すフローチャートである。 第1の境界部及び第2の境界部の例を示す図である。 第1の境界部の例を示す図である。 速度関数による第1の境界部の第1の補正の例を示す図である。 速度関数による第1の境界部の第2の補正の例を示す図である。 近似楕円体による第1の境界部の形状の補正を示す図である。 第2の境界部の対称像に基づいて第1の境界部の形状を補正する例を示す図である。 第2の境界部の回転像に基づいて第1の境界部を補正する例を示す図である。 第2の実施形態に係る制御部を含む画像処理システムの機能構成を示す図である。 第2の実施形態の画像処理装置が実行する処理を示すフローチャートである。 第1の境界部の補正の要否の判定について説明する図である。 第3の実施形態に係る制御部を含む画像処理システムの機能構成を示す図である。 第3の実施形態の画像処理装置が実行する処理を示すフローチャートである。 第1の部位の形状の推定について説明する図である。
(第1の実施形態)
以下、図面を参照して、本発明の第1の実施形態の一例を詳しく説明する。本実施形態に係る画像処理装置は、対象症例のCT画像(対象画像)から、肺がん(腫瘍)が疑われる部位である肺結節の候補領域(肺結節候補領域)を抽出し、胸膜に付着する肺結節候補領域の付着面(胸膜に接している境界面)を補正する。このとき、本実施形態に係る画像処理装置は、肺結節候補領域の付着面と非付着面(胸膜に接していない境界面)を特定する。そして、抽出された非付着面の形状に基づいて付着面の形状を補正する。
以下の説明では、胸部CT画像上の胸膜に付着する肺結節を処理対象とする場合について説明するが、本発明の適用範囲は、本実施形態のモダリティ及び対象(肺結節や腫瘍など)に限定されるものではない。本発明は、MRIなどの他のモダリティにも適用可能であり、嚢胞、血管腫、過形成など、肺結節や腫瘍以外の他の部位にも適用可能である。
次に、具体的な装置構成、機能構成、及び処理フローを説明する。図1は、本実施形態に係る画像処理装置及びそれに接続される装置のシステム構成(画像処理システム)を示す図である。本実施形態の画像処理システムは、画像処理装置100、画像撮影装置110、データサーバ120、表示部(モニタ)160、及び入力部(マウス170及びキーボード180)を備える。
画像処理装置100は、例えば、パーソナルコンピュータ(PC)などで実現することができ、制御部(CPU)11、主メモリ12、磁気ディスク13、及び表示メモリ14を備える。制御部11は、主に、画像処理装置100の各構成要素の動作を制御する。主メモリ12は、制御部11が実行する制御プログラムを格納したり、制御部11によるプログラム実行時の作業領域を提供したりする。磁気ディスク13は、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、及び後述する処理などを行うためのプログラムを含む各種アプリケーションソフトなどを格納する。
表示メモリ14は、表示部160のための表示用データを一時記憶する。表示部160は、例えば、CRTモニタや液晶モニタなどであり、表示メモリ14からのデータに基づいて画像を表示する。入力部として機能するマウス170及びキーボード180は、ユーザによるポインティング入力や文字などの入力をそれぞれ行う。これらの各構成要素は共通バス18により互いに通信可能に接続されている。
図2は、本実施形態に係る制御部11を含む画像処理システムの機能構成を示す図である。本実施形態に係る制御部11は、機能構成として、画像取得部1000、対象領域抽出部1010、対象部位抽出部1020、境界抽出部1030、境界特定部1031、補正部1040、及び表示制御部1050を備える。また、制御部11は、データサーバ120及び表示部160に通信可能に接続されている。
制御部11が備えられる画像処理装置100は、例えば、コンピュータ断層撮影装置(CT)、核磁気共鳴映像装置(MRI)、及び2次元の放射線画像を撮像する放射線撮影装置(デジタルラジオグラフィ)などの画像撮影装置110により取得される医用画像を処理する。なお、本実施形態では、コンピュータ断層撮影装置(CT)により撮影された医用画像(CT画像)を用いて説明を行う。
画像撮影装置110は、撮影されたCT画像をデータサーバ120へ送信する。データサーバ120は、画像撮影装置110により撮影された画像(CT画像)を保持する。画像処理装置100は、データサーバ120から、LANなどのネットワークを介して必要なデータを読み込むように構成されており、データサーバ120に保存された画像データを取得する。
次に、画像処理装置100の制御部11を構成する各要素について説明する。図2の画像取得部1000は、画像処理装置100が対象とする被検体(対象症例)に関する胸部のCT画像(以下、「対象画像」という)をデータサーバ120から取得し、画像処理装置100へ取り込む。
対象領域抽出部1010は、診断の対象である対象部位を含む対象領域を抽出する。例えば、対象領域抽出部1010は、画像取得部1000が取得した対象画像から、肺結節、胸膜、胸膜腔、肺血管、及び気管支などの領域を含む肺野領域を抽出する。対象部位抽出部1020は、医用画像における対象部位(第1の部位)及び対象部位に接する部位(第2の部位)を抽出する。例えば、対象部位抽出部1020は、対象領域抽出部1010により抽出された肺野領域から、肺結節が疑われる部位である領域(肺結節候補領域)を少なくとも1つ抽出する。
境界抽出部1030は、医用画像における対象部位(第1の部位)の境界及び対象部位に接する部位(第2の部位)の境界を抽出する。例えば、境界抽出部1030は、対象領域抽出部1010により抽出された肺野領域の情報と対象部位抽出部1020により抽出された肺結節候補領域の情報に基づいて、肺結節候補領域の境界と肺結節候補領域に接する部位(臓器や血管など)の境界を抽出する。なお、境界は、境界線であってもよく、境界面であってもよく、境界線又は境界面を構成する点の集合であってもよい。
境界特定部1031は、対象部位に接する部位(第2の部位)の境界に接している対象部位(第1の部位)の部分境界を第1の境界部(付着部)として特定する。そして、境界特定部1031は、対象部位に接する部位(第2の部位)の境界に接していない対象部位(第1の部位)の部分境界を第2の境界部(非付着部)として特定する。例えば、境界特定部1031は、肺結節候補領域の付着面と非付着面を特定する。
補正部1040は、対象部位の非付着部(第2の境界部)に基づいて、対象部位の付着部(第1の境界部)の形状を補正する。例えば、補正部1040は、境界特定部1031により特定された肺結節候補領域の非付着面の情報に基づいて、付着面の形状を補正する。表示制御部1050は、対象部位(第1の部位)、対象部位に接する部位(第2の部位)、補正前後の対象部位の付着部(第1の境界部)、及び対象部位の非付着部(第2の境界部)の情報(座標や表示形式の変更指示など)を表示部160に出力する。
例えば、表示制御部1050は、対象部位抽出部1020により抽出された肺結節候補領域、肺結節候補領域に接する部位、境界特定部1031により特定された肺結節候補領域の付着面と非付着面、及び補正部1040により補正された付着面に関する情報を表示部160に出力する。表示部160は、この情報に基づいて、対象部位(第1の部位)、対象部位に接する部位(第2の部位)、補正前後の対象部位の付着部(第1の境界部)、及び対象部位の非付着部(第2の境界部)を表示する。
次に、画像処理装置100の動作について、図3を用いて詳しく説明する。図3は、本実施形態の画像処理装置100が実行する処理を示すフローチャートである。本実施形態は、主メモリ12に格納されているプログラム(画像処理装置100の機能構成を実現するプログラム)を制御部11が実行することにより実現される。また、画像処理装置100が行う各処理の結果は、主メモリ12に格納することによって記録される。
また、本発明は、画像処理装置100の機能構成を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、システム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。更に、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(ステップS1100)
ステップS1100において、画像取得部1000は、対象画像を取得する。画像取得部1000は、対象症例のCT画像を対象画像としてデータサーバ120から取得し、画像処理装置100の主メモリ12上に展開して保持する処理を実行する。
本実施形態における対象画像は、直交する3軸(x,y,z)の方向成分によって識別可能な複数の画素によって構成され、付帯情報としての画素サイズは3軸方向のそれぞれに対して定義される。本実施形態では、具体的に3軸方向のそれぞれの画素サイズが、r_size_x=1.0mm,r_size_y=1.0mm,r_size_z=1.0mmである場合を例として説明する。なお、対象画像の濃度値(画素値)は、画素の3次元配列における画素アドレスを参照して導出される関数とみなすことも可能である。
本実施形態では、対象画像を関数I(x,y,z)として表す。関数I(x,y,z)は、対象画像の撮影領域の3次元の実空間座標値(x,y,z)を引数として、その位置における画素値を表す関数である。
(ステップS1110)
ステップS1110において、対象領域抽出部1010は、対象領域(肺野領域)を抽出する。対象領域抽出部1010は、空気領域、気管支領域の一部、肺血管領域の一部、及び肺結節候補領域を含む領域、すなわち解剖学において肺野として認識されている領域を抽出する。
対象領域抽出部1010は、関数I(x,y,z)から、例えば、閾値処理、領域拡張処理、レベルセット(Level set)、及び解剖学に基づく臓器アトラス(モデル)などを利用した手法を用いて、肺野領域Vlungを自動的に抽出することができる。また、ユーザがマウス170を介して肺野領域Vlungに対する修正又は調整を手動で行ってもよい。
(ステップS1120)
ステップS1120において、対象部位抽出部1020は、対象部位(肺結節候補領域)及び対象部位に接する部位(臓器や血管など)を抽出する。対象部位抽出部1020は、ステップS1110で抽出された肺野領域Vlungから、肺結節候補領域の特徴を有する濃度値(画素値)や形状などに基づいて、少なくとも1つの肺結節候補領域を抽出する。
対象部位抽出部1020は、閾値処理やヘッセ行列の固有値などに基づいて、塊状構造物を強調するフィルタ処理などの技術を用い、肺野領域Vlungから肺結節候補領域を検出する。そして、対象部位抽出部1020は、検出された肺結節候補領域に対して、動的輪郭モデル(レベルセット及びSnakesなど)やグラフカット(Graph−cut)などの技術を用いて、肺結節候補領域をより精密に抽出する。
また、ユーザがマウス170を介して特定の肺結節候補領域を指定することにより、対象部位抽出部1020が対象部位を抽出してもよい。この場合、ユーザが、表示部160に表示される対象画像の横断面(Axial)、矢状面(Sagittal)、及び冠状面(Coronal)の断面像を参照しながら、マウス170を用いて肺結節候補領域に属する座標をシード点として取得する。
対象部位抽出部1020は、取得されたシード点に関する情報、肺野領域Vlungに関する情報、及び肺結節候補領域の特徴を有する濃度値(画素値)や形状などの情報を用いて、レベルセットやグラフカットや動的輪郭モデルなどの技術により少なくとも1つの対象部位を抽出する。
肺結節(対象部位)と接する部位は胸膜領域や、血管領域などとなる。胸膜領域は肺野領域と接するため、対象領域が胸膜領域と接している場合は、肺野領域Vlungを対象部位(第1の部位)と接する部位(第2の部位)として取得することができる。対象部位が血管と接する場合は、予め血管領域を抽出して第2の部位として取得する必要がある。
血管領域は、肺野領域Vlungから、血管領域の特徴を有する濃度値(画素値)や形状などに基づいて、動的輪郭モデル(レベルセット及びSnakesなど)やグラフカット(Graph−cut)などの技術によって抽出することができる。
(ステップS1130)
ステップS1130において、境界抽出部1030は、対象部位(第1の部位)の境界及び対象部位に接する部位(第2の部位)の境界を抽出する。本実施形態では、第2の部位が肺野領域Vlungである場合を説明する。
ここで、対象部位抽出部1020により抽出された対象部位である肺結節候補領域をVnoduleとする。境界抽出部1030は、肺結節候補領域Vnoduleの境界画素の集合又は連結からなる肺結節候補領域(第1の部位)Vnoduleの境界面Snoduleを抽出する。これは、境界抽出部1030が、肺結節候補領域Vnoduleにおいて、肺結節候補領域Vnoduleと背景を画定する画素を検出することにより、境界面Snoduleを抽出する。また、同様に、境界抽出部1030は、肺野領域Vlungの境界画素の集合又は連結からなる肺野領域Vlung(第2の部位)の境界面Slungを抽出する。
(ステップS1131)
ステップS1131において、境界特定部1031は、対象部位の付着部(第1の境界部)と非付着部(第2の境界部)を特定する。境界特定部1031は、ステップS1130で抽出された肺結節候補領域Vnoduleの境界面Snodule及び肺野領域Vlungの境界面Slungに基づいて、肺結節候補領域Vnoduleの付着面Sattachedと非付着面Snon−attachedを特定する。
ここで、付着面(第1の境界部)Sattachedは、肺結節候補領域(第1の部位)Vnoduleの境界面Snoduleが肺野領域Vlung(第2の部位)の境界面Slungに接している面である。また、非付着面(第2の境界部)Snon−attachedは、肺結節候補領域(第1の部位)Vnoduleの境界面Snoduleが肺野領域Vlung(第2の部位)の境界面Slungに接していない面である。
肺野領域Vlungの境界面Slungは胸膜領域と接しているので、肺結節候補領域Vnoduleの付着面Sattachedは、肺結節候補領域Vnoduleが胸膜領域に接している部分であると考えられる。つまり、付着面Sattachedが存在する肺結節候補領域Vnoduleは、付着型異常陰影として医用画像に含まれる。一方、付着面Sattachedが存在しない肺結節候補領域Vnoduleは、孤立肺結節候補領域であり、非付着型異常陰影として医用画像に含まれる。
図4は、付着面(第1の境界部)及び非付着面(第2の境界部)の例を示す図である。なお、簡略化するために断面を用いて説明する。図4(a)は、胸膜に付着する肺結節候補領域505を示し、図4(b)は、胸膜に付着しない孤立肺結節の肺結節候補領域515を示す。
肺結節候補領域505の境界面は、破線で表示される付着面(第1の境界部)506と実線で表示される非付着面(第2の境界部)507からなる。孤立肺結節の肺結節候補領域515の境界面は、非付着面517からなる。境界特定部1031は、付着面(第1の境界部)506及び非付着面(第2の境界部)507を特定する。また、境界特定部1031は、非付着面517を特定する。
(ステップS1140)
ステップS1140において、補正部1040は、非付着面(第2の境界部)507に基づいて、付着面(第1の境界部)506の形状を補正する。補正部1040は、ステップS1120で抽出された肺結節候補領域505及びステップS1131で抽出された付着面506と非付着面507の情報(付着/非付着情報)を用いて、肺結節候補領域505の付着面506の形状を補正する。なお、孤立肺結節の肺結節候補領域515については、付着面Sattachedが特定されないので、補正部1040は、肺結節候補領域515の境界の補正処理を行わない。
補正部1040は、肺結節候補領域505の非付着面507の形状特徴に基づいて付着面506の形状を補正(変形)する。例えば、補正部1040は、非付着面(第2の境界部)507の少なくとも一部の形状(例えば、曲率など)に基づく動的輪郭モデルにより、付着面(第1の境界部)506の形状を補正(変形)する。本実施形態では、動的輪郭モデルであるレベルセット法による境界面伝播処理を施すことで、付着面506が補正される。
レベルセット法は、位相変化可能な動的輪郭モデルであり、輪郭(境界)の形状や領域のテクスチャなどを表す特徴量に基づくコスト関数を用いることによって、輪郭を理想的な形状や位置に変形(伝播)させることができる。
具体的には、レベルセット法は、対象とする空間に対して、次元が1つ高い空間(高次元空間)を構築し、対象物の輪郭をその高次元空間で定義された陰関数φの断面(ゼロ等値面φ=0)として考える。陰関数φの形状が時間tに従って移動しながら、対象物の輪郭(ゼロ等値面φ=0)が変形する。よって、目標とする対象物の変形の形状特徴(目標領域)に応じて陰関数φを適切に設計すれば、対象物の輪郭(境界)のトポロジー変化や特異点の発生などに対応することができる。
レベルセット法は、ゼロ等値面の形状を変化させるために、陰関数φに属する点に運動(移動)速度を与え、時間tの経過とともに陰関数φを伝播させる。これは、一般的に式(1)で表すことができる。
ここで、Fは速度関数(コスト関数)である。陰関数φに属する点の運動速度は、速度関数Fにより決定される。一般的に、速度関数Fは、画像上の対象物のテクスチャや形状特徴などを考慮して、ゼロ等値面が目標領域の輪郭から遠くなるほど速度が遅くなるように(コストが大きくなるように)、ゼロ等値面が目標領域の輪郭に近くなるほど速度が速くなるように(コストが小さくなるように)設計される。また、速度関数Fは、ゼロ等値面が目標領域の内部であれば拡張するように、ゼロ等値面が目標領域の外部であれば縮小するように設計される。
本実施形態では、補正部1040は、付着面506と非付着面507とが接する箇所520の輪郭(境界)において滑らかさを保ちながら、付着面506の形状特徴が非付着面507の形状特徴に近付くように、付着面506を補正(変形)する。また、臨床の所見では、付着面において、肺結節領域の成長が止まるため、付着面が非付着面と異なる形状になる。よって、補正部1040は、付着面を拡張する補正を行う。本実施形態では、式(2)で示す曲率に基づく速度関数Fκ(i,j,k)を用いて、付着面506が拡張される。
ここで、画素(i,j,k)は、肺結節候補領域505の境界面Snodule(付着面506及び非付着面507)の外側に存在し、かつ付着面506に隣接する画素(近傍画素)であり、付着面506を拡張するための画素(拡張候補画素)である。
なお、(i,j,k)は画素の座標位置を表す。κ(i,j,k)は、画素(i,j,k)における曲率を表し、ゼロ等値面φ=0を前景とするときの符号付き距離関数によって算出される。κは、非付着面507の曲率特徴量であり、例えば、非付着面507上の各画素における曲率の平均(平均曲率)である。また、κは、付着面506と接する非付着面507上の画素を参照画素として、参照画素の集合のうち画素(i,j,k)に最も近い画素における曲率などであってもよい。
α(α<0)は重み係数である。速度関数Fκ(i,j,k)によれば、画素(i,j,k)における曲率κ(i,j,k)とκとの差が大きいほど、拡張候補画素における速度Fκが大きくなり、第1の境界部(付着面506)の拡張度が大きくなる。一方、画素(i,j,k)における曲率κ(i,j,k)とκとの差が小さいほど、拡張候補画素における速度Fκが小さくなって0に近付き、第1の境界部(付着面506)の拡張度が小さくなる。
なお、第1の境界部(付着面506)の拡張をより効率的に行いかつ制御しやくするために、式(3)で示す制限を加えることもできる。
ここで、βは係数である。Nattachedは、第1の境界(付着面506)の画素数を表す。Nnon−attachedは、第2の境界部(非付着面507)の画素数を表す。式(3)によれば、補正により拡張される第1の境界部(付着面506)の画素数を第2の境界部(非付着面507)の画素数に基づいて制限することで、第1の境界部(付着面506)の無限拡大などを防止することができる。
図5は、速度関数Fκ(i,j,k)による第1の境界部(付着面)の補正の例を示す図である。ここでは、非付着面527の画素(黒色で示される画素)における平均曲率又は参照画素523(“=”で表される画素)のうち1つの画素における曲率の何れかが、κとなる。付着面526の画素(灰色で示される画素)の近傍画素が拡張候補画素524(“*”で表される画素)となる(図5A)。
補正部1040は、拡張候補画素524における曲率κ(i,j,k)とκとの差を算出し、その差が最も大きい画素から順番に付着面526が付着面528に拡張される(図5B)。この処理を繰り返すことにより、付着面528が付着面529に拡張される(図5C)。拡張候補画素における速度Fκが小さくなって0に近付き、付着面529を更に拡張する必要がなくなれば、付着面526の補正(拡張)が終了する。補正部1040は、補正処理の終了時に得られた付着面529を補正後の付着面とする。
また、補正部1040は、非付着面(第2の境界部)に近似する近似曲線、非付着面(第2の境界部)に近似する近似曲面、非付着面(第2の境界部)の対称像、及び非付着面(第2の境界部)の回転像の少なくとも1つに基づいて、付着面(第1の境界部)の形状を補正してもよい。
例えば、補正部1040は、楕円体フィッティングなどの技術を利用して、非付着面(第2の境界部)に近似する近似楕円体(近似曲面)により付着面(第1の境界部)の形状を補正してもよい。図6は、近似楕円体(近似曲面)による付着面(第1の境界部)の形状の補正を示す図である。図6に示すように、補正部1040は、付着面536と接している非付着面537上の画素を参照画素533として、参照画素533を含む近似楕円体E(x,y,z)を算出する。
この場合、補正部1040は、非付着面537から更に1つ以上の画素を参照画素534として選択し、参照画素533及び参照画素534を含む近似楕円体E(x,y,z)を算出してもよい。また、補正部1040は、参照画素533及び参照画素534に基づく最小二乗誤差法により近似楕円体E(x,y,z)を算出してもよい。補正部1040は、参照画素533から付着面側における近似楕円体538の部分(境界)を補正後の付着面539とする。
(ステップS1150)
ステップS1150において、表示部160は、対象部位(第1の部位)、対象部位に接する部位(第2の部位)、補正前後の対象部位の付着部(第1の境界部)、及び対象部位の非付着部(第2の境界部)の情報(座標や表示形式の変更指示など)の少なくとも1つを表示する。この場合、表示制御部1050は、肺結節候補領域(第1の部位)、肺野領域(第2の部位)、補正前後の付着面(第1の境界部)、及び非付着面(第2の境界部)の情報を表示部160に送信する。
なお、表示制御部1050は、これらの情報(画像など)を医用画像(CT画像など)に重畳して、表示部160に表示させてもよい。この場合、表示制御部1050は、これらの情報が重畳された3次元の医用画像をボリュームレンダリングにより生成し、表示部160に表示させてもよい。また、表示制御部1050は、重畳された3次元の医用画像の所定の断面画像を生成し、表示部160に表示させてもよい。
以上のように本実施形態によれば、画像処理装置100は、付着型異常陰影として医用画像に含まれる部位における付着面と非付着面を特定し、付着面と非付着面の特徴に基づいて付着面を補正することができる。この結果、異常組織であると疑われる部位について、診断支援技術(異常陰影領域の自動検出技術及び組織の良悪性鑑別技術などを含む)に利用される形状特徴量を適切に計算でき、診断支援技術の性能向上に貢献することができる。
以上、本発明にかかる実施形態について説明したが、本発明はこれらに限定されるものではなく、請求項に記載された範囲内において変更・変形することが可能である。例えば、補正部1040は、近似曲線及び近似曲面の他、非付着面(第2の境界部)の対称像(鏡像)又は非付着面(第2の境界部)の回転像の少なくとも1つに基づいて、付着面(第1の境界部)の形状を補正してもよい。
図7は、非付着面(第2の境界)の対称像に基づいて付着面(第1の境界部)の形状を補正する例を示す図である。補正部1040は、付着面546を平面で近似した面を対称面として、非付着面547の対称像を生成し、生成された対称像を補正後の付着面548とする。
また、図8は、非付着面(第2の境界部)の回転像に基づいて付着面(第1の境界部)を補正する例を示す図である。補正部1040は、付着面556を平面で近似した面の中心553における法線ベクトルを回転軸554として、図7の付着面548(非付着面の面対称像)を180度回転させて回転像を生成する。補正部1040は、回転像を非付着面557と接続することで、回転像を補正後の付着面558とする。
このように、補正部1040は、近似曲線、近似曲面、対称像、及び回転像の少なくとも1つを用いて、医用画像における対象部位(第1の部位)の付着面(第1の境界部)を非付着面(第2の境界部)に近似する形状に補正することができ、対象部位の形状特徴量をより適切に計算することができる。
(第2の実施形態)
次に、図面を参照して、本発明の第2の実施形態の一例を詳しく説明する。なお、上記の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態との差異について説明する。
第2の実施形態では、ステップS1131で境界特定部1031により特定された付着/非付着情報に基づいて、付着面の補正処理を実施するか否かを判定する処理を加えた例について説明する。本実施形態では、付着面及び非付着面の少なくとも1つの形状特徴量に基づいて補正処理を実施するか否かを判定し、補正処理を実施すると判定された場合、第1の実施形態と同様に、補正部1040が付着面を補正する。
次に、具体的な装置構成、機能構成、及び処理フローを説明する。図9は、本実施形態に係る制御部111を含む画像処理システムの機能構成を示す図である。図9に示すように、本実施形態における制御部111は、機能構成として、画像取得部1000、対象領域抽出部1010、対象部位抽出部1020、境界抽出部1030、境界特定部1031、判定部1035、補正部1040、及び表示制御部1050を備える。
判定部1035は、付着面(第1の境界部)及び非付着面(第2の境界部)の少なくとも1つの形状の特徴を表す特徴量(形状特徴量)を判定特徴量とし、判定特徴量に基づいて、付着面(第1の境界部)の形状を補正するか否かを判定する。判定部1035により補正処理を実施すると判定された場合、補正部1040が、対象部位の非付着部(第2の境界部)に基づいて、対象部位の付着部(第1の境界部)の形状を補正する。
次に、本実施形態の画像処理装置の動作について、図10を用いて詳しく説明する。図10は、本実施形態の画像処理装置が実行する処理を示すフローチャートである。ステップS2000〜ステップS2030の処理は、第1の実施形態のステップS1100〜ステップS1130の処理に相当する。
(ステップS2035)
ステップS2035において、判定部1035は、判定特徴量に基づいて、付着面(第1の境界部)の形状を補正するか否かを判定する。ここで、判定特徴量は、付着面(第1の境界部)又は非付着面(第2の境界部)の長さ、接線、法線、及び曲率の少なくとも1つである。また、判定特徴量は、付着面(第1の境界部)又は非付着面(第2の境界部)により規定される領域の重心、面積、体積、円形度、及び球形度の少なくとも1つであってもよい。
例えば、判定部1035は、ステップS2030で取得した付着面と非付着面の判定特徴量を比較し、付着面の補正を行うか否かを判定する。判定部1035は、付着面と非付着面により規定される領域の面積をそれぞれ算出し、付着面と非付着面の面積の比Dを算出する。Dが、予め設定された閾値T以上である場合、判定部1035が付着面の補正を行うと判定し、ステップS2040に進む。一方、Dが閾値T未満である場合、判定部1035が付着面の補正を行わないと判定し、ステップS2050に進む。
図11(a)に示すように、判定部1035は、肺結節候補領域(第1の部位)565の付着面566の面積と非付着面567の面積とを比較して、面積の比Dを算出する。肺結節候補領域(第1の部位)565が胸膜(第2の部位)にほとんど付着していない場合、Dが閾値T未満となり、判定部1035が付着面566の補正を行わないと判定する。
また、図11(b)に示すように、判定部1035は、肺結節候補領域(第1の部位)565の付着面566の平均曲率と非付着面567の平均曲率とを比較して、平均曲率の差分Sを算出する。多角形又は多角体の輪郭を有する肺結節候補領域(第1の部位)575では、付着面576の平均曲率と非付着面577の平均曲率とがほぼ同じ(0に近い)であるため、差分Sが閾値T未満となり、判定部1035が付着面576の補正を行わないと判定する。
また、判定部1035は、付着面の断面の長さを所定の閾値Tと比較してもよいし、付着面と非付着面の断面の長さの比を所定の閾値Tと比較してもよい。また、判定部1035は、非付着面の法線の方向のヒストグラムを生成し、ヒストグラムの分布に基づいて、付着面の補正を行うか否かを判定してもよい。また、判定部1035は、付着面の円形度又は肺結節候補領域(付着面及び非付着面により規定される領域)の球形度に基づいて、付着面の補正を行うか否かを判定してもよい。
このように、判定部1035は、診断支援技術に利用される形状特徴量の計算に付着面(第1の境界部)の補正が与える影響を判断する。影響が小さい場合には付着面の補正を行わないことにより、不要な補正処理を施さずにより効率的な処理(形状特徴量の計算処理)を行うことができる。
(ステップS2040)
ステップS2040において、補正部1040は、非付着部(第2の境界部)に基づいて、補正を行うと判定された付着面(第1の境界部)の形状を補正する。補正部1040は、ステップS2010で抽出された肺野領域、ステップS2020で抽出された肺結節候補領域、及びステップS2031で特定された付着/非付着情報を用いて、肺結節候補領域の付着面の形状を補正する。
(ステップS2050)
ステップS2050において、表示制御部1050による制御に従って、表示部160は、対象部位(第1の部位)、対象部位に接する部位(第2の部位)、及び付着/非付着情報の少なくとも1つを表示する。ステップS2035で付着面の補正が行われないと判定された場合、表示部160は、付着面の補正が行われなかったことを示す情報を表示してもよい。
このように、判定部1035が、判定特徴量に基づいて付着面の補正の要否を判定することにより、不要な補正処理を施さずにより効率的な処理(形状特徴量の計算処理)を行うことができる。
(第3の実施形態)
次に、図面を参照して、本発明の第3の実施形態の一例を詳しく説明する。なお、上記の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態との差異について説明する。
第3実施形態では、付着面(第1の境界部)の補正前後における形状特徴量に基づいて、肺結節候補領域(第1の部位)の形状を推定する例について説明する。
次に、具体的な装置構成、機能構成、及び処理フローを説明する。図12は、本実施形態に係る制御部1111を含む画像処理システムの機能構成を示す図である。図12に示すように、本実施形態における制御部1111は、機能構成として、画像取得部1000、対象領域抽出部1010、対象部位抽出部1020、推定特徴量算出部1025、境界抽出部1030、境界特定部1031、補正部1040、形状推定部1045、及び表示制御部1050を備える。
推定特徴量算出部1025は、付着面(第1の境界部)の補正前の肺結節候補領域(第1の部位)の境界の形状の特徴を表す特徴量を推定特徴量として算出する。形状推定部1045は、付着面(第1の境界部)の補正後の肺結節候補領域(第1の部位)の境界の少なくとも1つの形状の特徴を表す特徴量を推定特徴量として算出する。ここで、補正前の推定特徴量をfbeforeとし、補正後の推定特徴量をfafterとする。
形状推定部1045は、補正前の肺結節候補領域(第1の部位)の境界及び補正後の肺結節候補領域の境界の少なくとも1つの形状の特徴を表す特徴量(形状特徴量)を推定特徴量とし、推定特徴量に基づいて、肺結節候補領域の形状を推定する。
次に、本実施形態の画像処理装置の動作について、図13を用いて詳しく説明する。図13は、本実施形態の画像処理装置が実行する処理を示すフローチャートである。ステップS3000〜ステップS3020の処理は、第1の実施形態のステップS1100〜ステップS1120の処理に相当する。
(ステップS3025)
ステップS3025において、推定特徴量算出部1025は、ステップS3000の対象画像の濃度値(画素値)及びステップS3020の対象部位(第1の部位)の情報を用いて、補正前の肺結節候補領域の形状特徴量である推定特徴量fbeforeを算出する。ここで、推定特徴量fbeforeは、補正前の肺結節候補領域(第1の部位)の境界の長さ、接線、法線、曲率、重心、面積、体積、伸長度、円形度、球形度、モーメント、フーリエ記述子、及び球面調和関数(SPHARM)の少なくとも1つである。
(ステップS3030)
ステップS3030において、境界抽出部1030は、対象部位(第1の部位)の境界及び対象部位に接する部位(第2の部位)の境界を抽出し、付着/非付着情報を取得する。
(ステップS3040)
ステップS3040において、補正部1040は、非付着面(第2の境界部)に近似する近似曲線、非付着面(第2の境界部)に近似する近似曲面、非付着面(第2の境界部)の対称像、及び非付着面(第2の境界部)の回転像の少なくとも1つに基づいて、付着部(第1の境界)の形状を補正する。なお、補正部1040は、ステップS3025で算出された推定特徴量fbeforeに基づいて、付着部(第1の境界部)の形状を補正するための近似曲線、近似曲面、対称像、及び回転像の少なくとも1つを選択してもよい。
例えば、推定特徴量算出部1025が、付着面Sattachedを平面で近似した面の面積(付着面積)及びこの面の平行面による肺結節候補領域(第1の部位)の断面積(断面積)を推定特徴量fbeforeとして算出する。付着面積が何れの断面積よりも大きい場合(第1の部位において付着面積が最大である場合)、補正部1040は、非付着面(第2の境界部)の対称像又は回転像を選択し、選択された対称像又は回転像に基づいて付着部(第1の境界部)の形状を補正する。
(ステップS3045)
ステップS3045において、形状推定部1045は、ステップS3040で補正された対象部位(第1の部位)の情報を用いて、補正後の肺結節候補領域(第1の部位)の形状特徴量である推定特徴量fafterを算出する。また、形状推定部1045は、補正前後の推定特徴量fbefore,fafterに基づいて、肺結節候補領域(第1の部位)の形状を推定する。
ここで、推定特徴量fafterは、補正後の肺結節候補領域(第1の部位)の境界の長さ、接線、法線、曲率、重心、面積、体積、伸長度、円形度、球形度、モーメント、フーリエ記述子、及び球面調和関数(SPHARM)の少なくとも1つである。
例えば、形状推定部1045は、補正前後の推定特徴量fbefore,fafterを比較し、肺結節候補領域(第1の部位)の形状を推定する。形状推定部1045は、補正前後の推定特徴量fbefore,fafter及びこれらの差分fsubに基づいて、肺結節候補領域(第1の部位)の形状を推定する。
図14(a)に示すように、推定特徴量算出部1025が、補正前の肺結節候補領域(第1の部位)585の球形度を形状特徴量として推定特徴量fbeforeを算出する。非付着面587により規定される領域が半球状であるため、推定特徴量(球形度)fbeforeは0.5以下となる。
形状推定部1045は、補正後の肺結節候補領域(第1の部位)585の球形度を推定特徴量fafterとして算出する。補正により付着面586が付着面588に拡張され、補正後の肺結節候補領域が球状になるため、推定特徴量(球形度)fafterは0.8以上となる。この場合、形状推定部1045は、補正前後の推定特徴量fbefore,fafterに基づいて、非付着面587が半球状であると推定する。
また、図14(b)に示すように、推定特徴量算出部1025が、補正前の肺結節候補領域(第1の部位)595の球形度を形状特徴量として推定特徴量fbeforeを算出する。非付着面597が直方体であるため、推定特徴量(球形度)fbeforeは0.5以下となる。
形状推定部1045は、補正後の肺結節候補領域(第1の部位)595の球形度を推定特徴量fafterとして算出する。補正により付着面596が付着面598に拡張され、補正後の補正後の肺結節候補領域が直方体又は立方体になるため、推定特徴量(球形度)fafterは0.5以下となる。また、補正前後の球形度が略同じになるため、推定特徴量fbefore,fafterの差分fsubは所定の閾値以下となる。この場合、形状推定部1045は、補正前後の推定特徴量fbefore,fafter及び差分fsub基づいて、非付着面597が直方体(多角体)であると推定する。
また、形状推定部1045は、非付着面の法線の方向のヒストグラムを生成し、ヒストグラムの分布に基づいて、肺結節候補領域(第1の部位)の形状を推定してもよい。また、形状推定部1045は、複数の平行面による肺結節候補領域(第1の部位)の断面積の変化に基づいて、肺結節候補領域(第1の部位)の形状を推定してもよい。また、形状推定部1045は、球面調和関数(SPHARM)の形状ベクトルに基づいて、肺結節候補領域(第1の部位)の形状を推定してもよい。
また、形状推定部1045は、パターン認識により前記第1の部位の形状を推定してもよい。付着型異常陰影として医用画像に含まれる肺結節候補領域を類球形や多角形などのカテゴリに分類したい場合、形状推定部1045は、それぞれのカテゴリに属する形状特徴量を学習データとして予め設定し、推定特徴量fbefore,fafter及び差分fsubを用いた識別モデルを生成する。形状推定部1045は、識別モデルを用いてパターン認識することにより、肺結節候補領域(第1の部位)の形状を推定する。
(ステップS3050)
ステップS3050において、表示制御部1050による制御に従って、表示部160は、対象部位(第1の部位)、対象部位に接する部位(第2の部位)、付着/非付着情報、対象部位(第1の部位)の形状の推定結果、推定特徴量fbefore,fafter、及び差分fsubの少なくとも1つを表示する。
このように、形状推定部1045が肺結節候補領域(第1の部位)の形状を推定することにより、推定された形状が肺結節の良悪性鑑別処理における指標となる。また、CADにより計算された付着型異常陰影の領域の形状特徴量と推定特徴量とを比較することにより、補正部1040による補正が適切であったか否かを判断することができる。また、推定された形状を新たな特徴量としてCADに利用することができる。
また別の実施形態では、肺結節候補領域等の対象領域が付着部を含むか否かを判定し、付着部を含むと判定された場合には、当該付着部を含む対象領域の形状を補正することとする。この場合、実施形態1と同様に対象領域抽出部1010により抽出された対象領域について、境界抽出部1030により対象領域と当該対象領域に接する部位(臓器や血管など)の境界を抽出する。そして、境界特定部1031は、対象部位に接する部位(第2の部位)の境界に接している対象部位(第1の部位)の部分境界を第1の境界部(付着部)として特定する。このとき、境界特定部1031により付着部が特定された場合には、境界特定部1031により付着部が存在すると判定する。当該判定が行われた場合には、補正部1040は、対象部位の非付着部(第2の境界部)に基づいて、対象部位の付着部(第1の境界部)の形状を補正する。ここで、境界特定部1031により付着部が特定されなかった場合には、補正部1040は上述の補正処理を行わない。
表示制御部1050は、対象部位抽出部1020により抽出された肺結節候補領域、肺結節候補領域に接する部位、境界特定部1031により特定された肺結節候補領域の付着面と非付着面、及び補正部1040により補正された付着面に関する情報を表示部160に出力する。ここで、補正部1040により補正が行われた場合には、当該補正が行われわれたことを示す情報を出力してもよい。また、補正部1040により補正が行われた場合には、表示制御部1050により、補正後の形状を、対象領域に重畳する形で表示させることとしてもよい。また例えば補正後の対象領域の境界の表示と、補正前の対象領域の境界の表示とを切り替え可能に表示させることとしてもよい。あるいは、第1の境界部(付着部)の位置を示す情報と、補正後の形状を示す情報とを対象画像に重畳し、活動指示表示されている状態としてもよい。
また、補正部1040により補正が行われなかった場合には、当該補正が行われなかったことを示す情報を出力してもよい。
また、別の実施形態では、表示制御部1050は、対象画像を表示させ、かつ、境界特定部1031により特定された第1の境界部(付着部)や、非付着部(第2の境界部)をかかる対象画像の対象領域に重畳して表示させることとし、かつ、かかる第1及び第2の境界部をマウス170やキーボード180等の操作部からの操作入力に応じて変更可能としてもよい。操作入力に応じて第1または第2の境界部が変更された場合には、当該変更後の境界部に基づいて補正部1040による形状の補正処理、判定部1035による判定処理を行う。操作入力に応じた変更が、補正部1040による形状の補正処理や、判定部1035による判定処理の後に行われた場合には、補正部1040、判定部1035は、再度の補正処理、判定処理を夫々行うこととなる。
上述の実施形態に係る処理で補正された形状は、対象部位の画像所見を導出する処理に用いられる。画像所見は、例えば画像診断医により付与される、病変等に対する評価を示す文字情報である。実施形態の1つでは、かかる画像所見をシステムが自動的に導出する。例えば、上記補正後の対象部位(第1の部位)から計算された形状特徴量を用いて、対象部位の全体形状(類球形や分葉形など)及び輪郭線(円滑や凸面状など)などの形態系画像所見を導出する。上述の補正処理により、補正処理を行わない場合に比べて、画像所見をより正しく導くことが可能である。導出処理は、例えば、形状特徴量を事前に設定された参照値とのマッピングや、機械学習による分類などの技術を用いることにより実現される。形態系画像所見は画像診断における重要な根拠として用いられているため、病変の正診率を高めることが期待される。
11,111,1111 制御部
12 主メモリ
13 磁気ディスク
14 表示メモリ
18 共通バス
100 画像処理装置
110 画像撮影装置
120 データサーバ
160 表示部
170 マウス
180 キーボード
1000 画像取得部
1010 対象領域抽出部
1020 対象部位抽出部
1025 推定特徴量算出部
1030 境界抽出部
1031 境界特定部
1035 判定部
1040 補正部
1045 形状推定部
1050 表示制御部


Claims (10)

  1. 医用画像における第1の部位の境界及び第2の部位の境界を抽出する境界抽出手段と、
    前記第2の部位の境界に接している前記第1の部位の部分境界を第1の境界部として特定し、前記第2の部位の境界に接していない前記第1の部位の部分境界を第2の境界部として特定する境界特定手段と、
    前記第2の境界部に基づいて前記第1の境界部の形状を補正する補正手段と
    を備えることを特徴とする画像処理装置。
  2. 前記補正手段は、前記第2の境界部の少なくとも一部の形状に基づく動的輪郭モデルにより、前記第1の境界部の形状を補正することを特徴とする請求項1に記載の画像処理装置。
  3. 前記補正手段は、前記第2の境界部に近似する近似曲線、前記第2の境界部に近似する近似曲面、前記第2の境界部の対称像、及び前記第2の境界部の回転像の少なくとも1つに基づいて、前記第1の境界部の形状を補正することを特徴とする請求項1に記載の画像処理装置。
  4. 前記第1の境界部及び前記第2の境界部の少なくとも1つの形状の特徴を表す特徴量を判定特徴量とし、前記判定特徴量に基づいて、前記第1の境界部の形状を補正するか否かを判定する判定手段を備えることを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 前記判定手段は、前記第1の境界部又は前記第2の境界部の長さ、接線、法線、及び曲率、並びに前記第1の境界部又は前記第2の境界部により規定される領域の重心、面積、体積、円形度、及び球形度の少なくとも1つを前記判定特徴量として、前記第1の境界の形状を補正するか否かを判定することを特徴とする請求項4に記載の画像処理装置。
  6. 補正前の前記第1の部位の境界及び補正後の前記第1の部位の境界の少なくとも1つの形状の特徴を表す特徴量を推定特徴量とし、前記推定特徴量に基づいて、前記第1の部位の形状を推定する形状推定手段を備えることを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
  7. 前記形状推定手段は、補正前の前記第1の部位の境界及び補正後の前記第1の部位の境界の長さ、接線、法線、曲率、重心、面積、体積、伸長度、円形度、球形度、モーメント、フーリエ記述子、及び球面調和関数の少なくとも1つを前記推定特徴量として、前記第1の部位の形状を推定することを特徴とする請求項6に記載の画像処理装置。
  8. パターン認識により前記第1の部位の形状を推定する形状推定手段を備えることを特徴とする請求項6に記載の画像処理装置。
  9. 医用画像における第1の部位の境界及び第2の部位の境界を抽出する工程と、
    前記第2の部位の境界に接している前記第1の部位の部分境界を第1の境界部として特定し、前記第2の部位の境界に接していない前記第1の部位の部分境界を第2の境界部として特定する工程と、
    前記第2の境界部に基づいて前記第1の境界部の形状を補正する工程と
    を備えることを特徴とする画像処理方法。
  10. コンピュータを請求項1乃至8の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2015151611A 2015-07-31 2015-07-31 画像処理装置、画像処理方法、及びプログラム Active JP6643827B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015151611A JP6643827B2 (ja) 2015-07-31 2015-07-31 画像処理装置、画像処理方法、及びプログラム
US15/217,302 US10319093B2 (en) 2015-07-31 2016-07-22 Image processing apparatus, image processing method, and program
EP16181845.5A EP3125198A1 (en) 2015-07-31 2016-07-29 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015151611A JP6643827B2 (ja) 2015-07-31 2015-07-31 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017029343A true JP2017029343A (ja) 2017-02-09
JP6643827B2 JP6643827B2 (ja) 2020-02-12

Family

ID=56939857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015151611A Active JP6643827B2 (ja) 2015-07-31 2015-07-31 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US10319093B2 (ja)
EP (1) EP3125198A1 (ja)
JP (1) JP6643827B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180108210A (ko) * 2017-03-24 2018-10-04 삼성메디슨 주식회사 의료 영상 표시 방법 및 의료 영상 표시 장치
JP2020024199A (ja) * 2018-07-31 2020-02-13 住友金属鉱山株式会社 基板の検査装置、基板の検査方法
JP2020099539A (ja) * 2018-12-21 2020-07-02 富士通株式会社 肺画像処理プログラム、肺画像処理方法および肺画像処理システム
WO2022254859A1 (ja) * 2021-06-03 2022-12-08 古野電気株式会社 コンピュータプログラム、学習モデル生成方法、画像処理方法及び画像処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9984283B2 (en) * 2015-02-14 2018-05-29 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for automated detection of abnormalities in medical images
JP6862147B2 (ja) * 2016-11-09 2021-04-21 キヤノン株式会社 画像処理装置、画像処理装置の作動方法、画像処理システム
JP6983573B2 (ja) * 2017-08-09 2021-12-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR102442449B1 (ko) * 2017-09-01 2022-09-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN109410170B (zh) * 2018-09-14 2022-09-02 东软医疗系统股份有限公司 图像数据处理方法、装置及设备
JP7345306B2 (ja) * 2019-07-30 2023-09-15 キヤノン株式会社 画像処理装置、画像処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008503294A (ja) * 2004-06-23 2008-02-07 メディックサイト ピーエルシー 識別方法、コンピュータプログラム及びコンピュータプログラム装置
US20080181481A1 (en) * 2006-12-11 2008-07-31 Siemens Corporation Research, Inc. Method and System for Locating Opaque Regions in Chest X-Ray Radiographs
JP2008253293A (ja) * 2007-03-30 2008-10-23 Fujifilm Corp Ct画像からの肺野領域抽出方法
JP2009225990A (ja) * 2008-03-21 2009-10-08 Kobe Univ 画像診断支援処理装置および画像診断支援処理プログラム
WO2014113786A1 (en) * 2013-01-18 2014-07-24 H. Lee Moffitt Cancer Center And Research Institute, Inc. Quantitative predictors of tumor severity
JP2014135990A (ja) * 2013-01-16 2014-07-28 Fujifilm Corp 医用画像処理装置および方法並びにプログラム
JP2014241000A (ja) * 2013-06-11 2014-12-25 富士フイルム株式会社 輪郭修正装置、方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2415563B (en) 2004-06-23 2009-11-25 Medicsight Plc Lesion boundary detection
US8870779B2 (en) * 2005-04-26 2014-10-28 Biosense Webster, Inc. Display of two-dimensional ultrasound fan
EP2006803A1 (en) * 2007-06-19 2008-12-24 Agfa HealthCare NV Method of segmenting anatomic entities in 3D digital medical images
JP6350522B2 (ja) * 2013-05-16 2018-07-04 コニカミノルタ株式会社 画像処理装置及びプログラム
JP5990834B2 (ja) * 2014-03-28 2016-09-14 株式会社日立製作所 診断画像生成装置および診断画像生成方法
JP6134985B2 (ja) * 2014-07-31 2017-05-31 富士フイルム株式会社 曲線修正装置および方法並びにプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008503294A (ja) * 2004-06-23 2008-02-07 メディックサイト ピーエルシー 識別方法、コンピュータプログラム及びコンピュータプログラム装置
US20080181481A1 (en) * 2006-12-11 2008-07-31 Siemens Corporation Research, Inc. Method and System for Locating Opaque Regions in Chest X-Ray Radiographs
JP2008253293A (ja) * 2007-03-30 2008-10-23 Fujifilm Corp Ct画像からの肺野領域抽出方法
JP2009225990A (ja) * 2008-03-21 2009-10-08 Kobe Univ 画像診断支援処理装置および画像診断支援処理プログラム
JP2014135990A (ja) * 2013-01-16 2014-07-28 Fujifilm Corp 医用画像処理装置および方法並びにプログラム
WO2014113786A1 (en) * 2013-01-18 2014-07-24 H. Lee Moffitt Cancer Center And Research Institute, Inc. Quantitative predictors of tumor severity
JP2014241000A (ja) * 2013-06-11 2014-12-25 富士フイルム株式会社 輪郭修正装置、方法およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180108210A (ko) * 2017-03-24 2018-10-04 삼성메디슨 주식회사 의료 영상 표시 방법 및 의료 영상 표시 장치
KR102329680B1 (ko) * 2017-03-24 2021-11-23 삼성메디슨 주식회사 의료 영상 표시 방법 및 의료 영상 표시 장치
JP2020024199A (ja) * 2018-07-31 2020-02-13 住友金属鉱山株式会社 基板の検査装置、基板の検査方法
JP2020099539A (ja) * 2018-12-21 2020-07-02 富士通株式会社 肺画像処理プログラム、肺画像処理方法および肺画像処理システム
WO2022254859A1 (ja) * 2021-06-03 2022-12-08 古野電気株式会社 コンピュータプログラム、学習モデル生成方法、画像処理方法及び画像処理装置

Also Published As

Publication number Publication date
US10319093B2 (en) 2019-06-11
JP6643827B2 (ja) 2020-02-12
US20170140534A1 (en) 2017-05-18
EP3125198A1 (en) 2017-02-01

Similar Documents

Publication Publication Date Title
JP6643827B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5546230B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10102622B2 (en) Processing apparatus, processing method, and non-transitory computer-readable storage medium
EP3206189B1 (en) Image processing apparatus, image processing method, and program
JP5954769B2 (ja) 医用画像処理装置、医用画像処理方法および異常検出プログラム
US8908944B2 (en) Information processing apparatus, information processing method, and program
US8559689B2 (en) Medical image processing apparatus, method, and program
JP5334692B2 (ja) 制約されたマージナル空間学習を使用して3d解剖学的オブジェクトを検出するための方法およびシステム
EP2443587B1 (en) Systems for computer aided lung nodule detection in chest tomosynthesis imaging
JP5982726B2 (ja) ボリュームデータ解析システム及びその方法
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
KR20130023735A (ko) 장기 모델 영상 생성 방법 및 장치
JP2007111533A (ja) コンピュータ断層撮影ボリュームデータにおける脊髄検出の方法およびシステム
JP6905323B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20220032067A (ko) 데이터 처리 방법, 장치, 기기 및 저장매체
EP2601637B1 (en) System and method for multi-modality segmentation of internal tissue with live feedback
JP6383182B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
WO2018088055A1 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP2017012446A (ja) 画像処理装置
JP6827707B2 (ja) 情報処理装置および情報処理システム
CN115527655A (zh) 提供第二结果数据集的方法、系统和计算机可读存储介质
CN110599482B (zh) 肺裂曲面确定方法、装置、电子设备和存储介质
US11138736B2 (en) Information processing apparatus and information processing method
Pyo et al. Physically based nonrigid registration using smoothed particle hydrodynamics: application to hepatic metastasis volume-preserving registration
Almeida et al. 3D shape prior active contours for an automatic segmentation of a patient specific femur from a CT scan

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200107

R151 Written notification of patent or utility model registration

Ref document number: 6643827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03