JP2023019113A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2023019113A
JP2023019113A JP2021123598A JP2021123598A JP2023019113A JP 2023019113 A JP2023019113 A JP 2023019113A JP 2021123598 A JP2021123598 A JP 2021123598A JP 2021123598 A JP2021123598 A JP 2021123598A JP 2023019113 A JP2023019113 A JP 2023019113A
Authority
JP
Japan
Prior art keywords
image data
alignment
deformation
medical image
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021123598A
Other languages
English (en)
Inventor
和大 宮狭
Kazuhiro Miyasa
亨 田中
Toru Tanaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021123598A priority Critical patent/JP2023019113A/ja
Priority to US17/814,176 priority patent/US20230032941A1/en
Publication of JP2023019113A publication Critical patent/JP2023019113A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】 医用画像データ間の位置合わせを高精度に実施可能な画像処理技術の提供を目的とする。【解決手段】 本発明に係る画像処理装置は、被検体を撮像した第一の医用画像データおよび第二の医用画像データを取得する取得部と、取得した前記第一の医用画像データおよび前記第二の医用画像データに対して、複数の段階から構成される第一の位置合わせ処理のうち、所定の段階までの位置合わせ処理を適用した結果である中間変形情報を取得する中間変形情報取得部と、取得した前記中間変形情報に対して、変形の異常を判定する判定部と、前記判定部が変形の異常があると判定した場合に、前記第一の医用画像データと前記第二の医用画像データに対して、前記第一の位置合わせ処理と異なる第二の位置合わせ処理を行い、変形情報を算出する変形部と、を備える。【選択図】 図1

Description

本明細書の開示は、医用画像データ間の位置合わせを行う画像処理装置、画像処理方法およびプログラムに関する。
医療の分野において、種々のモダリティにより互いに異なる時刻に撮像して得られた2つの医用画像データから生成される差分画像データをユーザに提示することにより、病変等の経時変化を可視化する試みがなされている。
非特許文献1では、CT装置により撮像して得られた2つの3次元医用画像データを位置合わせして差分画像データを生成する技術が開示されている。また、医用画像データ間の位置合わせは、差分画像データの生成以外の目的、例えば、複数の医用画像データの重畳表示、対比、解析等を目的としたさまざまな場面で活用されている。
しかし、非特許文献1のような位置合わせ技術では、医用画像データ間で被検体の位置や姿勢が大きく異なる場合、医用画像データ間で対応する解剖構造の位置合わせを高精度に実施することが困難な場合があった。
本発明は、上記の課題に鑑み、医用画像データ間の位置合わせを高精度に実施可能な画像処理技術の提供を目的とする。
本発明の目的を達成するために、本発明に係る画像処理装置は、被検体を撮像した第一の医用画像データおよび第二の医用画像データを取得する取得部と、取得した第一の医用画像データおよび第二の医用画像データに対して、複数の段階から構成される第一の位置合わせ処理のうち、所定の段階までの位置合わせ処理を適用した結果である中間変形情報を取得する中間変形情報取得部と、取得した中間変形情報に対して、変形の異常を判定する判定部と、判定部が変形の異常があると判定した場合に、第一の医用画像データと第二の医用画像データに対して、第一の位置合わせ処理と異なる第二の位置合わせ処理を行い、変形情報を算出する変形部と、を備える。
本明細書の開示によれば、医用画像データ間の位置合わせを高精度に実施することができる。
第1の実施形態に係る画像処理システムの機能構成を示す図である。 第1の実施形態における位置合わせの処理手順を示すフロー図である。 位置合わせ前の画像間の肋骨の位置関係を例示する図である。 位置合わせ所定の段階の画像間の肋骨の位置関係を例示する図である。 第2の実施形態における位置合わせの処理手順を示すフロー図である。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
<第1の実施形態>
本実施形態に係る画像処理装置は、互いに異なる時刻に撮像された2つの医用画像データ間で位置合わせを行い、差分画像データ等を生成する装置である。具体的には、2つの医用画像データに対して、複数の段階から構成される第1の位置合わせ処理のうち、所定の段階までの位置合わせ処理を適用した結果である中間変形情報に対して、異常を判定する。異常があると判定された場合は、該異常が生じにくい、複数の段階の位置合わせ処理から構成される第1の位置合わせ処理と異なる第2の位置合わせ処理を適用し、2つの医用画像データに対して再度位置合わせを行う。ここで所定の段階の位置合わせ処理とは、複数の段階の位置合わせ処理のうち、最終の段階の位置合わせ処理でない段階の位置合わせ処理を指す。
図1は、本実施形態に係る画像処理システムの構成を示す図である。画像処理システムは画像処理装置100を有しており、画像処理装置100は、ネットワーク120を介してデータサーバ130と接続されている。本実施形態に係る画像処理装置100は、互いに異なる時刻に被検体を撮像した2つの医用画像データ(第1の医用画像データと第2の医用画像データ)間で位置合わせを行う。そして、画像処理装置100は、位置合わせ結果に基づいて、第1の医用画像データと第2の医用画像データの間の差分画像データ等を生成する装置である。
データサーバ130は、複数の医用画像データを保持している。データサーバ130は例えば、モダリティで撮像された医用画像データを受信し、ネットワークを通じて保管・管理するPACS(Picture Archiving and CommunicationSystems)を表す。以下の説明では、データサーバ130には、第1の医用画像データおよび第2の医用画像データとして、それぞれ異なる条件(異なるモダリティ、撮像モード、撮像日時、体位等)で被検体を撮像して得られた複数の3次元断層画像データが保持されているとする。本実施形態では、第1の医用画像データと第2の医用画像データはX線CT装置により撮像して得られた3次元断層画像データ(3次元医用画像データ)であるとして説明を行う。
なお、本明細書においては、被検体の右手から左手への方向を表す軸をX軸、被検者の正面から背面への方向を表す軸をY軸、被検者の頭から足への方向を表す軸をZ軸として定義する。また、XY断面をアキシャル面、YZ断面をサジタル面、ZX断面をコロナル面と定義する。すなわち、X軸方向は、サジタル面に直交する方向(以下、サジタル方向)である。また、Y軸方向は、コロナル面に直交する方向(以下、コロナル方向)である。さらに、Z軸方向は、アキシャル面に直交する方向(以下、アキシャル方向)である。このとき、2次元断層画像データ(スライス画像)の集合として構成されるCT画像データの場合は、画像のスライス面はアキシャル面を表し、スライス面に直交する方向(以下、スライス方向)はアキシャル方向を表す。なお、座標系の取り方は一例であり、これ以外の定義であってもよい。
なお、3次元断層画像を撮像するモダリティは、MRI装置、3次元超音波撮像装置、光音響トモグラフィ装置、PET/SPECT、OCT装置などであってもよい。さらに、第1の医用画像データおよび第2の医用画像データは、位置合わせの対象となる3次元断層画像データであれば、いかなる医用画像データであってもよい。例えば、異なるモダリティや異なる撮像モードで同時期に撮像されたものであってもよい。また、経過観察のために、同一被検体を同一モダリティ、同一体位で異なる日時に撮像した医用画像データであってもよい。なお、第1の医用画像データおよび第2の医用画像データは、2次元断層画像データの集合として構成された3次元医用画像データ(3次元断層画像データ)である。そして、各2次元断層画像データの位置および姿勢は、基準座標系(被検体を基準とした空間中の座標系)に変換した上でデータサーバ130に保持されているものとする。このとき、基準座標系で表現された第1の医用画像データおよび第2の医用画像データは、指示部140を操作するユーザの指示に応じて、画像処理装置100に入力される。指示部140は、例えばマウス、キーボード、ボタン、などからなる。
画像処理装置100は、指示部140からユーザによる処理の要求を受け付けて画像処理を行い、処理結果を表示部150へ出力する装置であり、医師等のユーザが操作する読影用の端末装置として機能する。具体的には、指示部140を通じたユーザからの指示に基づいて、データサーバ130から、画像処理対象となる第1の医用画像データと第2の医用画像データを医用画像データの対として取得する。そして、これらの医用画像データの対の位置合わせ処理を行い、位置合わせ結果に基づいて、第1の医用画像データと第2の医用画像データの間の差分画像データ等を生成して表示部150に出力する。
画像処理装置100は、以下に説明する構成を含み構成されている。
取得部101は、画像処理装置100へと入力される第1の医用画像データおよび第2の医用画像データの情報を取得する。
変形部102は、第1の位置合わせ部103と、第2の位置合わせ部104とを含み、取得部101が取得した医用画像データに対して位置合わせ処理を行い、変形情報を算出する。変形部102を構成する第1の位置合わせ部103は、複数の段階から構成される第1の位置合わせ手法を用いて、第1の医用画像データと第2の医用画像データの間の位置合わせ処理を行う。そして第1の位置合わせ部103は、位置合わせ処理の所定の段階である中間変形情報を中間変形情報取得部105に送信する。所定の段階の位置合わせ処理は、複数の段階のうち、最終の段階の位置合わせでない位置合わせ処理を指す。
中間変形情報取得部105は、変形部102から複数の段階から構成される第1の位置合わせ処理のうち、所定の段階までの位置合わせ処理を適用した結果である中間変形情報を、判定部106に送信する。ここで、中間変形情報とは、第一の医用画像データおよび第二の医用画像データを構成する画素間を対応づける変位ベクトルを格納した変位場である。
判定部106は、取得した中間変形情報に対して、変形の異常を判定し、判定結果を変形部102へ送信する。例えば判定部106は、中間変形情報に対応する変位場に基づいて位置合わせの異常の有無を判定し、判定結果を変形部102へと送信する。
変形部102は、判定部106が中間変形情報に異常がないと判定した場合には、中間変形情報に基づいて、第1の位置合わせ部103に対して、第1の位置合わせ処理を構成する所定の段階以降の位置合わせ処理を行わせる。一方で、判定部106が中間変形情報に異常があると判定した場合に、変形部102は、第2の位置合わせ部104に対して、第1の医用画像データと第2の医用画像データとに対する、第2の位置合わせ処理を行わせる。また変形部102は、第1の位置合わせ部103における所定の段階以降の位置合わせ処理を行わない。
第2の位置合わせ部104は、第2の位置合わせ手法を用いて、第1の医用画像データと第2の医用画像データの間の位置合わせ処理を行い、処理後の医用画像データ間の変位場を算出する。第2の位置合わせ部104における第2の位置合わせ処理は、第1の位置合わせ処理による中間変形情報を入力としない位置合わせ処理を実施する。
画像データ生成部107は、取得した変位場に基づいて第2の医用画像データを第1の医用画像データと一致させるように変形させた、第2の医用画像データの変形画像データを生成する。また画像データ生成部107は、第1の医用画像データと第2の医用画像データの変形画像データとの間の差分画像データを、結果画像データとして生成する。
表示制御部108は、生成された差分画像データや変形画像データ等を表示部150に出力する制御を行う。
表示部150は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等の任意の表示機器により構成されており、医師が読影するために医用画像データ等の表示を行う。具体的には、画像処理装置100から取得した第1の医用画像データおよび第2の医用画像データの断面画像データ等を表示する。また、画像処理装置100で生成された変形画像データの断面画像データ、差分画像データの断面画像データを表示する。なお、表示部150によって表示する医用画像データは、適宜組み合わせや、変更が可能である。また表示部150は、画像処理装置100と一体となった装置として構成されてもよい。
なお、本実施形態における画像処理装置100による医用画像データ間の位置合わせとは、一方の医用画像データを構成する画素の画素位置を他方の医用画像データの対応する画素位置に変位させるための変形情報を算出する処理を示している。
ここで、被検体に対して、互いに異なる時刻に撮像された2つの医用画像データがある場合を例に説明する。基準とする第1の医用画像データを構成する画素の画素位置に対して第2の医用画像データを構成する画素のうち、該第1の画素の画素位置に対応する画素位置を推定する。そして画像処理装置100は基準とする一方の医用画像データから他方の医用画像データへの変位場を変形情報として算出する。ここで、3次元断層画像データ間の変位場は、医用画像データを構成する画素の画素位置において、X、Y、Zの夫々の方向の変位ベクトルを格納した3次元ベクトル場である。また、位置合わせの基準とする医用画像データ(固定する画像データ)を参照画像データ、他方の医用画像データ(変形させる画像データ)を浮動画像データと称する。本実施形態では、第1の医用画像データを参照画像データ、第2の医用画像データを浮動画像データとして扱う。
図2は、画像処理装置100が行う医用画像データ間の位置合わせの処理手順を示すフローチャートである。なお、後述するステップは、複数の画像処理装置から構成される画像処理システムとして実現されてもよい。また画像処理装置100が特定のステップを行って、該ステップの結果を他の画像処理装置に送信してもよい。
(S1010) (2つの医用画像データを取得)
ステップS1010において、取得部101は、データサーバ130から、指示部140を通じてユーザが指定した、第1の医用画像データおよび第2の医用画像データを取得する。そして、取得した第1の医用画像データおよび第2の医用画像データを、変形部102の第1の位置合わせ部103および表示制御部108へと出力する。なお、取得部101における医用画像データの取得はユーザの指示に基づくものに限らず、他のいずれの方法で行ってもよい。
(S1020) (第1の位置合わせ処理を所定の段階まで実行)
ステップS1020において、変形部102の第1の位置合わせ部103は、第1の医用画像データと第2の医用画像データ間で同一部位を表す画素が略一致するように位置合わせする第1の位置合わせ処理を行う。第1の位置合わせ部103は、複数の段階から構成される第1の位置合わせ処理のうち所定の段階までの位置合わせ処理を行い、中間変形情報取得部105へと送信する。中間変形情報取得部105は、所定の段階における変形情報である中間変形情報を取得し、判定部106へ送信する。本実施形態では、中間変形情報取得部105は、第1の位置合わせ部103より中間変形情報として、位置合わせの所定の段階における両画像間を構成する画素の位置を対応付ける変位場を取得する。所定の段階の位置合わせ処理は、複数の段階の位置合わせ処理のうち、最終の段階の位置合わせでない位置合わせ処理を指す。
本実施形態において、第1の位置合わせ部103における第1の位置合わせ処理は、医用画像データ全体を画一的に評価する公知の画像処理手法により行う。例えば、医用画像データ間の画像類似度が高くなるように一方の画像を変形させる手法を用いる。画像類似度としては、一般的に用いられているSum of Squared Difference(SSD)や相互情報量、相互相関係数などの公知の方法を用いることができる。また、画像データの変形モデルとしては、アフィン変換やFree Form Deformation(FFD)、Demonsアルゴリズム、Large Deformation Diffeomorphic Metric Mapping(LDDMM)等の公知のモデルを利用できる。
また、本実施形態において、第1の位置合わせ部103における第1の位置合わせは複数段階からなる処理である。例えば、第1の位置合わせ部103は、位置合わせのロバスト性を高めるために、粗い解像度の入力画像データ間の位置合わせ処理から順に細かい解像度の入力画像データ間の位置合わせに移行していく多重解像度の位置合わせ処理を行う。
第1の位置合わせ部103における多重解像度の位置合わせでは、各解像度において位置合わせ処理による変位場を算出し、その変位場を次の解像度の入力画像に適用する、という手順を踏む。これにより、第1の位置合わせ部103は、解像度ごとに変位場を出力することが可能である。このとき、中間変形情報取得部105は、第1の位置合わせの所定の段階として、多重解像度の位置合わせにおける所定の解像度の段階を採用し、所定の段階の解像度の位置合わせによる変位場を中間変形情報として取得するようにできる。例えば、5段階の多重解像度の位置合わせの場合、中間変形情報取得部105は、所定の段階として3段階目の解像度の位置合わせによる変位場を中間変形情報として取得することができる。
なお、第1の位置合わせ処理部103における第1の位置合わせ処理は、複数段階からなる処理は必ずしも多重解像度の位置合わせでなくともよい。第1の位置合わせ処理部103における第1の位置合わせ処理は、異なる種類の位置合わせ手法を順に組み合わせた処理であってもよい。例えば、第1の位置合わせ処理部103は、アフィン位置合わせ、上述のFFD、LDDMMの順に位置合わせを行う場合、所定の段階を2段階目とすると、中間変形情報取得部105は、FFDによる変位場を中間変形情報として取得するようにできる。また、第1の位置合わせ部103における複数段階からなる第1の位置合わせ処理は、最適化処理における繰り返し計算であってもよい。一般的に医用画像データ間の画像類似度が高くなるように医用画像データを変形させる位置合わせ手法は、画像類似度を評価関数とし、それを最小化(または最大化)するように繰り返し計算を行う。このとき、繰り返しの各ステップにおいて、変位場を生成することができるため、中間変形情報取得部105は、繰り返し計算の所定の段階のステップにおける変位場を中間変形情報として取得するようにできる。例えば、中間変形情報取得部105は、繰り返し計算の50ステップ目の変位場を中間変形情報として取得することができる。
なお、第1の位置合わせ部103によって算出される中間変形情報は、必ずしも変位場に限られるものではなく、医用画像データ間の位置の対応付けが可能な情報であれば何であってもよい。例えば、第1の位置合わせ部103における第1の位置合わせ処理によって算出される中間変形情報は、FFDで利用される、B-Spline曲線による変形モデルと医用画像データ内に所定の間隔で配置された制御点の位置と制御量の組み合わせであってもよい。この場合、中間変形情報取得部105は、制御点の位置と制御量に基づくB-Spline曲線を用いて医用画像データ内の任意の位置の変位を取得可能である。
(S1030) (中間変形情報に基づく変形の異常判定)
ステップS1030において、判定部106は、中間変形情報における変形が局所的に異常な領域の検出を行う。即ち、判定部106は、変位場における局所領域に対して、異常の有無を判定する。例えば、中間変形情報が変位場である場合に、判定部106は、変位場の体積変化を示すヤコビアンマップを生成し、局所的に体積が大きく変化している領域を検出する。ここで、変位場のヤコビアンマップにおける所定の位置(x,y,z)のヤコビアンJ(x,y,z)は、X,Y,Z方向の変位場を夫々Fx(x,y,z)、Fy(x,y,z)、Fz(x,y,z)とすると、以下の式で算出できる。但し、以下の数式では、入力座標である(x,y,z)は省略している。
Figure 2023019113000002
このとき、ヤコビアンJは、局所的に体積が変化しない場合には値1を取り、体積が減少すると1より小さい値(正の小数)、体積が増加すると1より大きい値を取る。そこで、本ステップでは、判定部106は、ヤコビアンJの値に基づく閾値判定により、変形が異常な領域を判定する。具体的には、判定部106は、以下の数式の条件を満たす場合に、体積変化が異常である領域である、つまり変形が異常な領域であると判定する。
|logJ|>Th (2)
ここで、判定部106は、ヤコビアンJに対して対数をとることで、体積が変化しない場合には0、体積が減少する場合は負の値、体積が増加することで正の値に変換することができる。さらに体積の減少と増加の逆の関係にある倍率を、正と負の同じ大きさの値として扱うことができる。具体的には、体積の減少倍率0.5と逆の関係にある増加倍率2.0に対してlogを取ると、夫々値‐1と+1となり、正と負の同じ大きさ1の値となる。そして、その値の絶対値をとることで、体積の減少と増加の倍率を同じ尺度の値に変換できる。このとき、Thは所定の閾値を表しており、例えば、Th=0.5とすると、(2)式により、局所的な体積変化が約0.7倍~約1.4倍の範囲に収まらない場合に、判定部106によって、異常な体積変化であると判定される。即ち、判定部106は、変位場における体積変化の情報に基づいて、変形の異常の有無を判定する。
以下に、図面を用いて、医用画像データ上における位置合わせの対象部位と、中間変形情報において発生する変形の異常の具体例を説明する。図3および図4は夫々位置合わせ前と位置合わせの所定の段階における医用画像データ間の肋骨の位置関係の例を示す図である。図3において、実線で描かれた形状は位置合わせ前の状態における、参照画像データである第1の医用画像データを被検体の側面から見たときの医用画像データ上の肋骨と背骨の形状を表し、R1・R2・R3・R4・R5は夫々個別の肋骨、RBは背骨を表す。また、図3において、点線で描かれた形状は位置合わせ前の状態における、浮動画像データである第2の医用画像データを側面から見たときの肋骨と背骨の形状を表す。そして、F1・F2・F3・F4・F5は夫々第1の医用画像データ上のR1・R2・R3・R4・R5の肋骨に対応する個別の肋骨、FBは背骨を表す。図3から分かるように、位置合わせ前の状態において、医用画像データ間の肋骨の先端部分において、対応する肋骨同士ではなく、R2とF1、R3とF2、R4とF3、R5とF4というように、対応が一つずつずれた肋骨同士が近い位置にあることが分かる。これは、医用画像データ間で被検体の姿勢や呼吸状態、体格が変わることで生じてしまう現象である。
次に、図4において、実線で描かれた形状は第1の位置合わせ部103による第1の位置合わせ処理の所定の段階における、参照画像データである第1の医用画像データ上の肋骨を表し、R1~R5は図3と同様のものを表す。また、図4において、点線で描かれた形状は位置合わせ処理の所定の段階における、浮動画像データである第2の医用画像データ上の肋骨を表し、F1~F5は図3と同様のものを表す。図4は、第1の位置合わせ部103が、第1の位置合わせの所定の段階の位置合わせ処理において、位置が近いもの同士の肋骨を合わせようとした結果である。本例において、背骨RBやFBに近い肋骨の根本部分では、互いに対応する肋骨R1とF1、R2とF2、R3とF3、R4とF4が近い位置に位置合わせされている。一方で、背骨RBやFBから遠い肋骨の先端部分では、対応が一つずつずれた肋骨R2とF1、R3とF2、R4とF3、R5とF4が誤って近い位置に位置合わせされていることが分かる。すなわち、浮動画像データ上の夫々の肋骨が対応の異なる肋骨に乗り換えてしまっている。これによって、浮動画像データである第2の医用画像データ上の肋骨F1・F2・F3・F4の根本と先端の間の部分E1・E2・E3・E4において、局所的にいびつな変形が生じていることが分かる。このような、局所的にいびつな変形が生じている箇所では、局所的に異常な体積変化が生じる。より具体的には、E1・E2・E3・E4では、局所的に肋骨が伸びてしまっているため、増加方向に異常な体積変化が生じる。このような箇所を上述の式(2)によって検出することができる。なお、判定部106における変形の異常の判定は、中間変形情報の全体に対して行われてもよい。また、判定部106による、中間変形情報に対する変形が異常な領域の検出方法は上述の方法に限らない。例えば、判定部106が、変位場上の局所領域における所定方向の変位が極端に変化している箇所を変形の異常として検出するようにしてもよい。以下に具体例を示す。図4に示すように、浮動画像データ上の夫々の肋骨が途中段階で被検体の上下方向(Z方向、アキシャル方向)に対応の異なる肋骨に乗り換えてしまっている。これにより、Z方向に肋骨が伸びてしまっていることが分かる。そこで、判定部106は、医用画像データ上のZ方向の変位が極端に変化している箇所を変形が異常な領域として検出する。判定部106は、最初に、変位場上の所定の位置(x,y,z)に対して所定範囲(例:半径10mm)を設定し、その範囲内のZ方向の変位の最大値dzmaxと最小値dzmin(単位は夫々mm)を算出する。そして、判定部106は、Z方向の変位の最大値dzmaxと最小値dzminに基づく閾値判定により、変形が異常な領域を判定する。具体的には、以下の数式の条件を満たす場合に、変形が異常な領域であると判定する。
dzmax-dzmin>Th (3)
このとき、dzmaxとdzminの差をとることで、判定部106は、所定範囲内のZ方向の変位の変化をとらえることができる。Thは所定の閾値を表しており、例えば、Th=20とすると、(3)式により、局所領域のZ方向の変位の最大値と最小値の差が20mmを超える場合に、判定部106によってZ方向の変位が極端に変化していると判定される。これにより、図4におけるE1・E2・E3・E4のようなZ方向に肋骨が伸びてしまっている領域を、(3)式によって検出することができる。即ち、判定部106は、変位場における変位の最大値と最小値の差に基づいて、変形の異常の有無を判定する。なお、判定部106における本手法は、Z方向に限られず他の方向の変位を用いても、複数の方向の変位を組み合わせて適用可能である。判定部106は、このように、画像間で肋骨の乗り換えが発生した場合に、Z方向に変形の異常が発生しやすいという特徴を利用することで、肋骨の乗り換えに特化した異常判定を行うことができる。
また、判定部106による中間変形情報における変形が異常な領域の検出方法は、上述の方法の組み合わせであってもよい。例えば、判定部106は、(2)式によって変形が異常な領域の候補領域を検出し、さらに候補領域を中心に所定範囲を設定し、その範囲に対して(3)式による判定を行い、最終的な変形が異常な領域を判定するようにしてもよい。
また、判定部106は、変形の異常を判断する閾値(上記ThやTh)は、注目画素が属する部位毎に異なる値に設定してもよい。判定部106は、例えば、もともと変形しやすい部位には大きな閾値、変形しにくい部位には小さな閾値を設定することで、誤検出を削減できる。部位の分類は、例えば、「骨と骨以外」や、「骨、胸部、腹部」とすることができる。ここで、部位の認識は、公知の画像認識技術で行うことができる。
なお、判定部106における中間変形情報に対する変形が異常な領域の検出方法は、変形の異常を検出する公知の何れの方法であってもよい。判定部106は、このように、部位毎の変形のし易さの特徴を考慮して異常判定の閾値を変えることで、部位毎に適切に異常判定を行うことができる。
(S1040) (異常なし?)
ステップS1040において、判定部106は、ステップS1030の結果に基づき、所定の段階において位置合わせが正常に進行しているか否かを判定する。判定部106における該判定は、例えば、ステップS1030の結果に関して、医用画像データ全体に渡って変形に異常がある局所領域が存在するか否かによって判定する。そして、判定部106が、位置合わせが正常に進行していると判定した場合は、処理をステップS1050に移す。一方、判定部106によって位置合わせが正常に進行していないと判定した場合は、処理をステップS1060に移す。なお、判定部106位置合わせが正常に進行しているか否かの判定は、これ以外にも、異常を呈する局所領域の体積が所定値以上である場合に異常と判定するなど、一定の不感帯を設けてもよい。また、判定部106における判定方法は、医用画像データ全体に渡って判定する以外の方法でもよく、所定の注目領域に限定して判定してもよいし、除外する領域をマスクして判定してもよい。例えば、医用画像データ間における骨の位置合わせのみに注目する場合には、骨以外の領域を異常判定の領域から除外(マスク)するようにしてもよい。
(S1050) (第1の位置合わせを所定の段階から再開)
ステップS1050において、変形部102は、判定部106が変形の異常がないと判定した場合に、第1の位置合わせ部104によって、ステップS1030で生成した中間変形情報に基づき、複数の段階から構成される第1の位置合わせ処理の所定の段階までの位置合わせ処理の結果である所定の段階以降の位置合わせ処理から再開する。そして第1の位置合わせ部104は、第1の位置合わせ処理のうち、最終の処理まで実行した結果の変形情報を第1の変形情報として取得する。そして、変形部102における第1の位置合わせ部104は、第1の変形情報を最終的な変形情報である最終変形情報として画像データ生成部107へと出力する。本実施形態では、最終変形情報として、ステップS1030と同様、医用画像データ間の各位置を対応付ける変位場を取得する。
ここで、本ステップの具体的な処理を説明する。但し、第1の位置合わせ部103における第1の位置合わせの具体的な処理手法はステップS1020と同様の方法なので説明を省略する。第1の位置合わせ部103における第1の位置合わせ処理が5段階の多重解像度の位置合わせ処理の場合であって、ステップS1020において第1の位置合わせ部103が、3段階目の解像度まで実行していた場合、以下の処理を行う。すなわち、第1の位置合わせ部103において、3段階目の解像度で得られた中間変形情報を入力として、残りの4~5段階目の解像度の位置合わせ処理を実行する。また、第1の位置合わせ処理が異なる位置合わせ手法を順に組み合わせた処理(アフィン位置合わせ・FFD・LDDMM)であってステップS1020において、2段階目の処理まで実行していた場合、以下の処理を行う。すなわち、第1の位置合わせ部103において、2段階目のFFDで得られ中間変形情報を入力として、残りのLDDMMの位置合わせ処理を実行する。
(S1060) (第2の位置合わせを最初から実行)
ステップS1060において、第2の位置合わせ部104は、第1の位置合わせ処理を構成する位置合わせ処理と異なる第2の位置合わせ処理を最初から行い、第2の位置合わせ処理の結果である変形情報を第2の変形情報として取得する。そして、第2の変形情報を最終的な変形情報である最終変形情報として画像データ生成部107へと出力する。本実施形態では、最終変形情報として、ステップS1030と同様、医用画像データ間の画素位置を対応付ける変位場を取得する。
ここで、第2の位置合わせ部104における第2の位置合わせは、少なくとも第1の位置合わせよりもステップS1030で検出された変形の異常が生じにくい手法である。具体的には、第2の位置合わせ部104における、第2の位置合わせ処理は、医用画像データ上の被検体の特定の局所的な解剖学的構造(以降、局所解剖構造と称する)の情報に基づく位置合わせ手法であるものとする。局所解剖構造とは、例えば、骨の一つ一つの部位(背骨、肋骨、頭蓋骨、骨盤など)である。なお、骨以外の解剖学的構造であってもよい。このとき、第2の位置合わせ部104における第2の位置合わせ処理が基づく被検体の局所解剖構造の情報は、ステップS1030で変形の異常が検出された局所領域の情報を含むものである。例えば、局所解剖構造が肋骨である場合、図4の肋骨の乗り換えによるいびつな変形が生じている領域を含む。
このとき、第2の位置合わせ部104における第2の位置合わせは、医用画像データ上のステップS1030で変形の異常が検出された被検体の局所領域を含む局所解剖構造の特徴点を各医用画像データで抽出・認識する。そして、第2の位置合わせ部104は、医用画像データ間で認識された局所解剖構造同士の位置が一致するように位置合わせする処理を行う。より具体的には、判定部106によって図4のような肋骨の変形の異常が検出された場合、第2の位置合わせ部104は、被検体の個別の肋骨ごとに先端や中央位置、根本などの特徴点を夫々抽出・認識する。そして、対応する肋骨の特徴点が一致するように位置合わせ処理を行う。ここで、第2の位置合わせ部104における個別の肋骨領域の特徴点の抽出および識別は、公知の画像処理ベースや機械学習ベース、アトラスベースの領域抽出技術や特徴点抽出技術を用いて行うことができる。また、医用画像データ間で対応する特徴点を一致させる位置合わせ手法としては、対応する特徴点だけではなく医用画像データ全体としても位置を一致させる手法が好ましい。その方法としては、上述のFFDやDemonsアルゴリズムやLDDMMの評価関数に、画像類似度だけではなく特徴点の一致度も組み込んだ方法などを適用できる。或いは、第2の位置合わせ部104は、最初にTPS(Thine Plate Spline)法などにより特徴点を一致させる位置合わせを行ってから、上述の画像類似度に基づく位置合わせを行うようにしてもよい。
また、上述の例のように、第2の位置合わせ部104における第2の位置合わせ処理で利用する局所解剖構造の情報は複数であることが望ましい。これは、上述の例のように、被検体の上下方向に隣接する複数の肋骨を個別に認識することで、それらを間違えずに位置合わせすることができるためである。また、第2の位置合わせ部104における第2の位置合わせで利用する局所解剖構造の情報は、必ずしも特徴点でなくともよく、局所解剖構造の領域や形状の情報を用いてもよい。この場合、第2の位置合わせ部104は、例えば、最初に局所解剖構造の領域や形状上の点をサンプリングして、公知の点群間の対応付け技術を用いて点群の対応付けを行う。そして、第2の位置合わせ部104における上述の対応する特徴点を一致させる手法と同様に画像類似度と特徴点の一致度を評価関数に組み込む方法で位置合わせすることができる。
なお、第2の位置合わせ部104における第2の位置合わせ処理は、被検体の特定の局所解剖構造の情報に基づく。そのため、第1の位置合わせ処理のような特定の局所解剖構造の情報に基づかない医用画像データ全体を均一に扱う手法よりも、特定の局所解剖構造に関する位置合わせの性能は高い。その一方で、第2の位置合わせ部104における第2の位置合わせ処理は被検体の局所解剖構造に基づく特別な処理が必要なため、第1の位置合わせ処理よりも処理に時間を要する。或いは撮像された被検体の部位が様々に異なる医用画像データのバリエーションに対して汎用的に適用できない可能性が高い。しかしながら、第2の位置合わせ部104における第2の位置合わせ処理を実行するのは、ステップS1030で検出された変形の異常が検出された場合である。本実施形態全体としては、変形部102により、様々な医用画像データのバリエーションの多くの場合は第1の位置合わせが処理の最後まで適用され、変形の異常が検出された症例に対して第2の位置合わせが適用される。これにより、第2の位置合わせ処理の短所である、処理時間の多さ或いは処理の汎用性の低さによる影響を抑えることができる。さらに、第2の位置合わせ処理の長所である、特定の局所解剖構造を含む位置合わせの精度の高さを生かして、第1の位置合わせの失敗をカバーすることができる。なお、ステップS1030の変形の異常検出が、特定の局所解剖構造の変形の異常検出に特化している場合には、第2の位置合わせ部104における第2の位置合わせ処理として、予めその局所解剖構造の変形異常の生じにくさに特化した位置合わせ処理のみを設定することができる。例えば、変形の異常検出が上述の肋骨の乗り換えの検出に特化している場合は、第2の位置合わせ処理は、上述のように肋骨の特徴点や形状のみを利用した位置合わせを設定することで、肋骨の変形異常を生じにくくする。一方、ステップS1030の変形の異常検出が部位毎に適切に行われる場合は、部位(局所解剖構造)に応じた、変形の異常が起きにくい位置合わせ処理を設定しておくことができる。これにより、異常が検出された部位を特定することで、部位に応じた位置合わせ処理を選択することができる。例えば、肋骨に変形の異常が特定された場合は肋骨の特徴点や形状を利用し、背骨に変形の異常が特定された場合は、背骨の特徴点や形状を利用した位置合わせを行うようにする。両者に異常が特定された場合は両者の特徴点や形状を利用した位置合わせを行うようにする。このように、異常が特定された部位に応じて適切な位置合わせ処理を行うことができる。このとき、必ずしも異常が特定された部位と位置合わせに利用する部位の情報は一対一に対応せずともよく、位置合わせに利用する部位の情報が、少なくとも異常が特定された部位を含めばよい。例えば、肋骨に異常が特定された場合に、肋骨を含めた複数の部位の特徴点や形状を利用した位置合わせを行うようにできる。
(S1070) (結果画像データを生成)
ステップS1070において、画像データ生成部107は、ステップS1050またはステップS1060の処理によって取得した最終変形情報に基づいて、結果画像データを生成する。すなわち、画像データ生成部107は、取得した最終変形情報に基づいて、第2の医用画像データを第1の医用画像データと一致させるように変形させた第2の医用画像の変形画像データを生成する。また、第1の医用画像データから第2の医用画像データの変形画像データを減算した差分画像データを生成する。そして、生成された結果画像データを、表示制御部106へと出力する。
なお、本実施形態では、生成された結果画像データを不図示の記憶部に保存する。これにより、本画像処理装置100の処理が終わった後、結果画像データを再度取得したい場合に、保存された結果画像データを読み込むことで、容易に結果画像データを取得することができる。但し、必ずしも生成された結果画像データを不図示の記憶部に保存せずともよい。
また、結果画像データとして、必ずしも第2の医用画像データの変形画像データと差分画像データの両方を生成する必要はない。何れか一方のみを生成するようにしてもよい。
(S1080) (画像データを表示)
ステップS1080において、表示制御部106は、画像データ生成部105から取得した結果画像データの断面画像データを、表示部150に表示する制御を行う。また、第1の医用画像データおよび第2の医用画像データの断面画像データを表示部150に表示する制御を行う。
以上によって、画像処理装置100の処理が実施される。即ち、画像処理装置100は、取得部101が取得した第一の医用画像データおよび第二の医用画像データに対して、複数の段階から構成される第一の位置合わせ処理のうち、所定の段階までの位置合わせ処理を適用した結果である中間変形情報を取得する中間変形情報取得部105を有する。
さらに画像処理装置100は中間変形情報に対して、変形の異常を判定する判定部106と、判定結果に基づいて、第一の位置合わせ処理とは少なくとも一部の位置合わせ処理が異なる第二の位置合わせ処理を行い、変形情報を算出する変形部102と、を備える。画像処理装置10がこのように構成されることにより、本実施形態によれば、判定部106が第1の位置合わせの変形の異常を検出し、変形部102が第2の位置合わせでその異常が生じにくい位置合わせを行うことで、位置合わせの失敗を低減できる。また、判定部106が、中間変形情報取得部103が取得した中間変形情報に対して異常を検出し、変形部102即座に第2の位置合わせを実行することで、判定部106が変形の異常を検出した場合でも、処理時間が不要に増加するのを防ぐことができる。
なお、最終変形情報に基づく変形画像データや差分画像データを表示または生成する必要は必ずしもなく、取得した変形情報を記憶部に保存するだけの構成であってもよい。また、取得した変形情報から得られる第1の医用画像データと第2の医用画像データの座標の対応関係を用いて、これらの医用画像データに任意の加工または解析を施す構成であってもよい。すなわち、第1の医用画像データと第2の医用画像データの位置合わせ結果を用いる用途であれば、いずれの構成であってもよい。
(変形例1)
第1の実施形態では、ステップS1060において、変第2の位置合わせとして、医用画像データ内の変形の異常が検出された特定の局所解剖構造の特徴点や領域、形状などの明確な位置情報を利用した位置合わせを適用していた。しかし、必ずしも局所解剖構造の明確な位置を特定した手法でなくともよい。例えば、変形の異常が検出された局所解剖構造が図4のように肋骨の場合を想定する。このとき、被検体を正面から見たときに、上下方向に頭蓋骨、鎖骨、背骨、骨盤という特徴的な骨が順に並んでいるため、比較的画像間で背骨領域を位置合わせするのは容易である。そこで、医用画像データ間で背骨領域は高精度に位置合わせできるという前提を置き、第2の位置合わせ部104は、医用画像データ間の位置合わせを、最初に背骨領域に絞って実行する。そして、そこから徐々に肋骨の根本から肋骨の先端に向けて対象領域を広げて位置合わせしていく方法を第2の位置合わせとして適用してもよい。
より具体的には、第2の位置合わせ部104は、3次元医用画像データのアキシャル面を見たときに、被検体の中心点を基準にして、医用画像データにおける画像領域を放射状に複数の領域に分割する。そして、第2の位置合わせ部104は、背骨を含む分割領域のみを最初の位置合わせの対象として実行し、次に隣接する分割領域を対象に加えて再度位置合わせを実行する。さらに、隣接する分割領域を対象に加えて再度位置合わせするという処理を、対象領域が医用画像データ全体となるまで繰り返す。例えば、医用画像データをアキシャル面で見たときに被検体の中心点を基準に放射状に12分割した場合、第2の位置合わせ部104は、背骨を含む2つの分割領域を最初の位置合わせの対象領域とする。そして、第2の位置合わせ部104は、背側から腹側に向けて順に左右各1つずつ同時に隣接する分割領域を増やしながら位置合わせを行い、最後に腹側の2つの分割領域を含めて画像全体で位置合わせする。これにより、対象領域が背骨から肋骨の先端に向けて徐々に拡張されながら位置合わせされていく。従って、例え位置合わせ前の肋骨の対応関係が図3のように一つずつずれて対応する状態であっても、第2の位置合わせ処理のうち、位置合わせ処理の前半では肋骨先端の対応関係は無視されて肋骨の根本から順に位置合わせされていく。そのため、図4のような肋骨先端が誤って別の肋骨に対応づく(乗り換える)位置合わせの失敗を防ぐことができる。
(変形例2)
第1の実施形態では、ステップS1060の第2の位置合わせ部104における第2の位置合わせは最初から位置合わせを再実行していた。しかし、必ずしも最初から位置合わせを再実行する方法に限らない。例えば、第1の位置合わせ処理が前段の粗い初期位置合わせ処理と後段の精密な位置合わせ処理から構成され、粗い初期位置合わせ処理が画像データ間の剛体位置合わせやアフィン位置合わせなどである場合を想定する。この場合、粗い初期位置合わせ処理では基本的には局所的な変形の異常は生じることはない。そこで、第2の位置合わせ部104における第2の位置合わせ処理では、粗い初期位置合わせ処理を第1の位置合わせと共通の処理であるものとし、第1の位置合わせにおける粗い初期位置合わせの段階の変形情報を初期変形情報として取得する。そして、第2の位置合わせ部104は、初期変形情報を初期値として、ステップS1060に記載した方法で位置合わせを実施する。これにより、第2の位置合わせ部104は、第2の位置合わせを全くの最初から実行する場合に比べて、ある程度医用画像データ間の位置が合った状態で第2の位置合わせを開始できるため、より短時間で位置合わせを完了することができる。
<第2の実施形態>
第1の実施形態では、判定部106における第1の位置合わせ処理に対する変形の異常の判定は所定の段階における1回であった。一方、本実施形態では、判定部106は、第1の位置合わせ処理の1段階の位置合わせ処理ごとに異常の判定を行う。以下、本実施形態の処理を説明する。なお、本実施形態に係る画像処理システムの構成は、図1と同じであるため、説明を省略する。また、画像処理装置100が行う全体の処理手順を示すフローチャートにおけるステップS2010、S2030、S2060~S2080は、第1の実施形態のステップS1010、S1030、S1060~S1080と同じであるため、説明を省略する。以下、図2のフローチャートにおける第1の実施形態との相違部分についてのみ説明する。
(S2020) (第1の位置合わせを1段階実行)
ステップS2020において、第1の位置合わせ部103は、第1の医用画像データと第2の医用画像データ間で同一部位を表す画素が略一致するように位置合わせする第1の位置合わせ処理を1段階実行し、中間変形情報を算出する。中間変形情報取得部105は、第1の位置合わせ部103より算出した中間変形情報を取得し、判定部106へ送信する。ここで第1の位置合わせ部103は、今回の位置合わせ処理で得られた中間変形情報を次回の位置合わせの際に位置合わせの初期値として利用するために、記憶しておく。本実施形態では、第1の実施形態と同様、中間変形情報として医用画像データ間の変位場を算出する。また、本実施形態における第1の位置合わせ部103における第1の位置合わせは第1の実施形態と同様の手法であるので、説明を省略する。また、本実施形態における第1の位置合わせ部103における第1の位置合わせは、第1の実施形態と同様、複数の段階からなる処理である。複数の段階からなる処理の詳細は、第1の実施形態と同様であるため、説明を省略する。このとき、第1の実施形態では、中間変形情報取得部105は、複数の段階のうちの所定の段階の位置合わせ処理を所定の段階として最初から所定の段階まで位置合わせを実行したときの変位場を中間変形情報として取得していた。一方、本実施形態では、中間変形情報取得部105は、複数の段階のうちの1段階分の位置合わせ処理を実行した際の変位場を中間変形情報として取得する。
ここで、第1の位置合わせ処理部103における第1の位置合わせ処理が多重解像度処理の場合、一つの解像度分或いは、所定の数の解像度分(例:2段階の解像度分)を1段階の位置合わせ処理とする。また、第1の位置合わせ処理が異なる種類の位置合わせ手法の組み合わせによって構成される場合(例:アフィン変換・FFD・LDDMM)、個別の位置合わせ手法の単位を1段階の処理とする。また、第1の位置合わせ処理が最適化処理における繰り返し計算する処理の場合は、所定のステップ数を合わせたもの(例:10ステップ分)を1段階とする。
なお、第1の位置合わせ部103において、現在が第1の位置合わせ処理における最初の段階の位置合わせ処理を行う場合は、最初の1段階の位置合わせ処理を実行する。一方、現在が既に第1の位置合わせ処理を構成する位置合わせ処理を少なくとも1段階実行した状態である場合は、第1の位置合わせ部103は、記憶しておいた前回の位置合わせで得られた変位場を初期値として、第1の位置合わせ処理を1段階実行する。
(S2040) (異常なし?)
ステップS2040において、判定部106は、ステップS2030の結果に基づき、複数の段階から構成される第1の位置合わせ処理の所定の段階の位置合わせ処理結果である中間変形情報において位置合わせが正常に進行しているか否かを判定する。ここで、判定部106による判定の方法は第1の実施形態と同様である。そして、位置合わせが正常に進行していると判定した場合は、処理をステップS2050へと移す。一方、位置合わせが正常に進行していないと判定した場合は、処理をステップS2060へと移す。
(S2050) (第1の位置合わせ終了?)
ステップS2050において、第1の位置合わせ部103は、第1の位置合わせを終了するか否かを判定する。終了と判定した場合は、現在記憶している中間変形情報を最終変形情報として画像データ生成部107へと出力し、処理をステップS2070へと移す。終了しないと判定された場合は、処理をステップS2020へと移す。
以上によって、画像処理装置100の処理が実施される。
本実施形態によれば、第1の位置合わせ処理の段階ごとに変形の異常を判定するため、第1の実施形態に比べて、判定部106がより早い段階で変形の異常を見つけることができる。また該構成によって、変形部102における第2の位置合わせ部104による第2の位置合わせ処理によってリカバーすることができる。従って、変形の異常を見つけた場合の処理時間を第1の実施形態よりも短縮することができる。
<その他の実施形態>
また、本明細書に開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェイス機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、1つの機器からなる装置に適用しても良い。
また、本明細書に開示の技術の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本明細書に開示の技術を構成することになる。
101 取得部
102 変形部
103 第1の位置合わせ部
104 第2の位置合わせ部
105 中間変形情報取得部
106 判定部

Claims (15)

  1. 被検体を撮像した第一の医用画像データおよび第二の医用画像データを取得する取得部と、
    取得した前記第一の医用画像データおよび前記第二の医用画像データに対して、複数の段階から構成される第一の位置合わせ処理のうち、所定の段階までの位置合わせ処理を適用した結果である中間変形情報を取得する中間変形情報取得部と、
    取得した前記中間変形情報に対して、変形の異常を判定する判定部と、
    前記判定部が変形の異常があると判定した場合に、前記第一の医用画像データと前記第二の医用画像データに対して、前記第一の位置合わせ処理と異なる第二の位置合わせ処理を行い、変形情報を算出する変形部と、
    を備えることを特徴とする画像処理装置。
  2. 前記変形部は、前記判定部が変形の異常がないと判定した場合に、前記中間変形情報に基づいて、前記第一の位置合わせ処理を構成する、前記所定の段階以降の位置合わせ処理を行い、変形情報を算出し、
    前記判定部が変形の異常があると判定した場合に、前記第一の医用画像データと前記第二の医用画像データに対して、前記第二の位置合わせ処理を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 前記第二の位置合わせ処理は、前記第一の位置合わせ処理による前記中間変形情報を入力としない位置合わせ処理を行うことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記中間変形情報は、前記第一の医用画像データおよび前記第二の医用画像データを構成する画素間を対応付ける変位ベクトルを格納した変位場であって、
    前記判定部は、前記変位場に対して、前記位置合わせの異常を判定することを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
  5. 前記判定部は、前記変位場における体積変化の情報に基づいて、前記変形の異常の有無を判定することを特徴とする請求項4に記載の画像処理装置。
  6. 前記判定部は、前記変位場における変位の最大値と最小値の差に基づいて、前記変形の異常の有無を判定することを特徴とする請求項4に記載の画像処理装置。
  7. 前記判定部は、閾値判定によって前記異常の有無を判定することを特徴とする請求項4乃至6のいずれか一項に記載の画像処理装置。
  8. 前記判定部は、前記変位場における局所領域に対して、前記変形の異常の有無を判定することを特徴とする請求項4乃至7のいずれか一項に記載の画像処理装置。
  9. 前記判定部は、前記異常があると判定した局所領域の変位場に占める体積が所定値以上である場合に、前記変形の異常があると判定することを特徴とする請求項8に記載の画像処理装置。
  10. 前記第二の位置合わせ手法は、前記判定部によって、異常があると判定された前記局所領域に含まれる解剖学的構造の情報に基づいた位置合わせを行うことを特徴とする請求項7または8に記載の画像処理装置。
  11. 前記判定部は、前記第一の位置合わせ処理を構成する前記複数の段階の中間変形情報に対して、前記変形の異常を判定することを特徴とする請求項1乃至10のいずれか一項に記載の画像処理装置。
  12. 前記所定の段階の位置合わせ処理は、前記複数の段階のうち、最終の段階の位置合わせでないことを特徴とする請求項1乃至11のいずれか一項に記載の画像処理装置。
  13. 前記変形部は、前記所定の段階までの位置合わせ処理を適用した結果である中間変形情報において、異常があると判定された場合、前記所定の段階以降の位置合わせ処理を行わないことを特徴とする請求項1乃至12のいずれか一項に記載の画像処理装置。
  14. 被検体を撮像した第一の医用画像データおよび第二の医用画像データを取得する取得ステップと、
    取得した前記第一の医用画像データおよび前記第二の医用画像データに対して、複数の段階から構成される第一の位置合わせ処理のうち、所定の段階までの位置合わせ処理を適用した結果である中間変形情報を取得する中間変形情報取得ステップと、
    前記中間変形情報に対して、変形の異常を判定する判定ステップと、
    前記判定ステップで変形の異常があると判定した場合に、前記第一の位置合わせ処理と異なる第二の位置合わせ処理を行い、変形情報を算出する変形ステップと、
    を備えることを特徴とする画像処理方法。
  15. 請求項14に記載の画像処理方法をコンピュータで実行するためのプログラム。
JP2021123598A 2021-07-28 2021-07-28 画像処理装置、画像処理方法およびプログラム Pending JP2023019113A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021123598A JP2023019113A (ja) 2021-07-28 2021-07-28 画像処理装置、画像処理方法およびプログラム
US17/814,176 US20230032941A1 (en) 2021-07-28 2022-07-21 Image processing apparatus, image processing method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021123598A JP2023019113A (ja) 2021-07-28 2021-07-28 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2023019113A true JP2023019113A (ja) 2023-02-09

Family

ID=85038320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021123598A Pending JP2023019113A (ja) 2021-07-28 2021-07-28 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US20230032941A1 (ja)
JP (1) JP2023019113A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309753A (zh) * 2023-03-28 2023-06-23 中山大学中山眼科中心 眼科oct图像的高清快速配准方法

Also Published As

Publication number Publication date
US20230032941A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
US8150132B2 (en) Image analysis apparatus, image analysis method, and computer-readable recording medium storing image analysis program
US10546377B2 (en) Image processing apparatus and method, and processing system
KR101267759B1 (ko) 화상 처리 장치, 화상 처리 방법 및 저장 매체
US10318839B2 (en) Method for automatic detection of anatomical landmarks in volumetric data
JP5334692B2 (ja) 制約されたマージナル空間学習を使用して3d解剖学的オブジェクトを検出するための方法およびシステム
US8165361B2 (en) System and method for image based multiple-modality cardiac image alignment
US8634628B2 (en) Medical image processing apparatus, method and program
US9741131B2 (en) Anatomy aware articulated registration for image segmentation
EP3444781B1 (en) Image processing apparatus and image processing method
US11468589B2 (en) Image processing apparatus, image processing method, and program
JP5812841B2 (ja) 画像診断支援装置、画像診断支援方法、画像診断支援プログラム
US10657661B2 (en) Information processing apparatus, imaging system, information processing method, and program causing computer to execute information processing
JP6541334B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN110634554A (zh) 脊椎影像注册方法
JP2023019113A (ja) 画像処理装置、画像処理方法およびプログラム
US9286688B2 (en) Automatic segmentation of articulated structures
JP2019046057A (ja) 画像処理装置、画像処理方法およびプログラム
JP6821303B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7387280B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11138736B2 (en) Information processing apparatus and information processing method
JP5734249B2 (ja) 画像処理装置、x線撮影装置、画像処理システム、画像処理方法及び記憶媒体
KR102672531B1 (ko) 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치
US20230210500A1 (en) Ultrasonography apparatus, ultrasonography method, and ultrasonography program
Song et al. A novel iterative matching scheme based on homography method for X-ray image

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213