JP2016147026A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2016147026A
JP2016147026A JP2015026965A JP2015026965A JP2016147026A JP 2016147026 A JP2016147026 A JP 2016147026A JP 2015026965 A JP2015026965 A JP 2015026965A JP 2015026965 A JP2015026965 A JP 2015026965A JP 2016147026 A JP2016147026 A JP 2016147026A
Authority
JP
Japan
Prior art keywords
feature point
priority
image
unit
priority feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015026965A
Other languages
English (en)
Other versions
JP6541363B2 (ja
Inventor
和大 宮狭
Kazuhiro Miyasa
和大 宮狭
亮 石川
Ryo Ishikawa
亮 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015026965A priority Critical patent/JP6541363B2/ja
Priority to US15/016,453 priority patent/US9953423B2/en
Publication of JP2016147026A publication Critical patent/JP2016147026A/ja
Application granted granted Critical
Publication of JP6541363B2 publication Critical patent/JP6541363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Abstract

【課題】複数の画像間の位置合わせにおいて、作業者が優先して一致させたい特徴点以外の領域おいても適切な位置合わせを行うこと。【解決手段】画像処理装置は、第1の画像と第2の画像の少なくともいずれか一方から取得した特徴点のうち、優先して位置合わせする優先特徴点と、優先特徴点よりも低い優先順位で位置合わせする非優先特徴点とを取得する特徴点取得部と、非優先特徴点の特性を評価する評価値に基づいて該非優先特徴点の重みを設定するとともに、該非優先特徴点の重みよりも大きい値の優先特徴点の重みを設定する重み設定部と、優先特徴点と優先特徴点の重み、および、非優先特徴点と非優先特徴点の重みに基づいて、第1の画像と第2の画像との位置合わせを行う位置合わせ部と、を有する。【選択図】 図1

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。特に、本発明は、核磁気共鳴映像装置(MRI)、X線コンピュータ断層撮影装置(X線CT)、超音波画像診断装置(US)など、種々の医用画像収集装置(モダリティ)で撮像した医用画像を処理する画像処理技術に関する。
医用画像(被検体内部の情報を表す3次元断層画像)を用いた画像診断において、医師は、複数の撮像装置(モダリティ)、異なる体位、時刻、撮像パラメータ等で撮像した画像を対比しながら診断を行う。しかし、画像間で被検体の姿勢や形状が異なるため、病変部の同定や対比を行うことが困難である。そこで、複数画像間の位置合わせを行うことが試みられている。
複数の画像間の位置合わせのための一般的な入力情報の一つとして、画像間で1対1に対応する特徴点(対応点)が利用されている。対応点には、画像処理による自動同定が可能なものがある。一方で、モダリティの違いや被検体の変形等の影響で自動同定が困難なものも存在する。また、画像処理によって自動同定された対応点が、必ずしも解剖学的に正しく対応付けられた点であるとは限らない。そのため、医師等の作業者は、画像を見ながら画像間の対応点の同定作業を手動で行なうことがある。作業者は、一方の医用画像(以下、参照画像)上で特徴点を入力し、画像の見え方などの類似性を手掛かりにして、その特徴点に対応する位置を他方の医用画像(以下、対象画像)から探索し同定する。このように、位置合わせに用いられる特徴点の中には、画像処理によって同定されるような必ずしも信頼できない点と、作業者が入力した対応付けが信頼できる点とが存在する。
特許文献1には、画像処理によって自動同定された対応点(抽出ランドマーク)と、作業者によって手動同定された対応点(ユーザランドマーク)を併用した位置合わせ技術が開示されている。この技術では、抽出ランドマークよりもユーザランドマークを大きく重み付けして、線形最適化手法によって複数画像間の位置合わせを行う。
特開2009-160045号公報
しかしながら、抽出ランドマークの中には、位置合わせのための特徴点として適切なものもあればそうでないものも存在する。特許文献1で開示されている技術では、全ての抽出ランドマークが同程度に一致するような位置合わせが行われることになる。従って、作業者が優先的に一致させたい位置は一致しても、それ以外の領域において必ずしも適切な位置合わせが行われない場合も生じ得る。
本発明は、上記の課題に鑑み、複数の画像間の位置合わせにおいて、作業者が優先して一致させたい特徴点以外の領域おいても適切な位置合わせを行うことが可能な画像処理技術を提供する。
本発明の一つの態様に係る画像処理装置は、第1の画像と第2の画像の少なくともいずれか一方から取得した特徴点のうち、優先して位置合わせする優先特徴点と、前記優先特徴点よりも低い優先順位で位置合わせする非優先特徴点とを取得する特徴点取得部と、
前記非優先特徴点の特性を評価する評価値に基づいて該非優先特徴点の重みを設定するとともに、該非優先特徴点の重みよりも大きい値の前記優先特徴点の重みを設定する重み設定部と、
前記優先特徴点と前記優先特徴点の重み、および、前記非優先特徴点と前記非優先特徴点の重みに基づいて、前記第1の画像と前記第2の画像との位置合わせを行う位置合わせ部と、を有することを特徴とする。
本発明によれば、複数の画像間の位置合わせにおいて、作業者が優先して一致させたい特徴点以外の領域においても適切な位置合わせを行うことが可能になる。
第1実施形態に係る画像処理装置の構成例を示す図。 第1実施形態における画像処理装置が行う処理手順を示す図。 作業者が入力特徴点を入力するための表示画面を例示する図。 優先特徴点と非優先特徴点とを表示する表示画面を例示する図。 夫々の非優先特徴点の整合度を算出する処理手順を示す図。 重みの情報が断面画像に重畳表示された画面を例示的に示す図。 変形画像を表示した表示画面を例示する図。 第2実施形態に係る画像処理装置の構成例を示す図。 第2実施形態における画像処理装置が行う処理手順を示す図。 夫々の非優先特徴点の信頼度を算出する処理手順を示す図。 第4実施形態に係る画像処理装置の構成例を示す図。 第4実施形態における画像処理装置が行う処理手順を示す図。 夫々の非優先特徴点の影響度を算出する処理手順を示す図。 入力特徴点に対して優先度を設定するための画面を例示する図。
以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
<第1実施形態:他の特徴点との整合度で非優先特徴点の重み付け>
本実施形態に係る画像処理装置は、作業者が入力した特徴点の情報に基づいて、2つの画像間の位置合わせを行う。2つの画像間の位置合わせにおいて、作業者が必ず一致させたい特徴点(以下、優先特徴点)の重みを、後に説明する非優先特徴点の重みに比べて常に大きく設定する(位置合わせする特徴点の優先順位を高く設定する)。そして、優先特徴点以外の特徴点(以下、非優先特徴点)に対しては、優先特徴点よりも位置合わせする優先順位は低いという条件下で、夫々の非優先特徴点の特性を評価する評価値に基づく重みを設定して位置合わせを行うことを特徴とする。なお、本実施形態で位置合わせに使用する特徴点は、2つの画像間で1対1に対応する対応点である。すなわち、優先特徴点および非優先特徴点は夫々、第1の画像と第2の画像の間で1対1に対応する特徴点である。
本実施形態では、非優先特徴点の夫々について、他の特徴点との整合度を評価値として位置合わせの重み付けを行う。ここで、整合度とは、注目する特徴点が、他の特徴点によって定義される画像間の変形情報にどの程度整合するかの度合いを示す情報である。非優先特徴点の1つを注目点としたときに、注目点以外の他の特徴点に対する該注目点の整合度が低ければ、その非優先特徴点(注目点)の重みを小さく設定する。一方、注目点以外の他の特徴点に対する該注目点の整合度が高ければ、その非優先特徴点(注目点)の重みを大きく設定する。これにより、全体の特徴点と空間的に矛盾するような非優先特徴点が存在する場合でも、作業者が望む位置は確実に一致し、かつ全体的に変形の不自然さのない適切な位置合わせ結果を得ることができる。以下、図1、図2を用いて本実施形態の構成及び処理を説明する。
図1は、本実施形態に係る画像処理装置100を有する画像処理システムの構成例を示す図である。画像処理システムは、画像処理装置100、データサーバ170、操作部180、および表示部190を有する。図1に示すように、本実施形態における画像処理装置100は、データサーバ170および操作部180、そして表示部190と接続されている。
データサーバ170が保持する第1の画像および第2の画像は、異なる条件(異なるモダリティ、撮影モード、日時、体位等)で被検体を予め撮像して得られた3次元断層画像(ボリュームデータ)である。3次元断層画像を撮像するモダリティは、MRI装置、X線CT装置、3次元超音波撮影装置、光音響トモグラフィ装置、PET/SPECT、OCT装置などであってもよい。第1および第2の画像は、例えば、異なるモダリティや異なる撮影モードで同時期に撮像されたものであってもよい。また、経過観察のために同一患者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよい。なお、第1の画像および第2の画像は2次元断層画像の集合として構成されており、各2次元断層画像の位置および姿勢は、基準座標系(被検体を基準とした空間中の座標系)に変換した上でデータサーバ170に保持されているものとする。基準座標系で表現された第1の画像および第2の画像は、データ取得部102を介して画像処理装置100に入力される。ここで、位置とは、基準座標系の3次元空間におけるX,Y,Zの3つの位置成分(3次元位置情報)によって表される。姿勢とは3次元空間におけるロール(Roll)、ピッチ(Pitch)、ヨー(Yaw)の3つの角度成分(3次元角度情報)によって表される回転または傾き具合のことである。
操作部180は、例えば、マウスやキーボードであり、作業者による操作を受け付けて、作業者が指定する特徴点の組を、特徴点取得部106を介して画像処理装置100に入力する。
表示部190は、画像処理装置100が生成する表示画像等の各種の情報を表示する。表示部190には、作業者からの指示を取得するためのGUIも配置されている。表示部190は、例えば、液晶モニタや有機ELモニタ等を用いて構成することが可能である。
(画像処理装置100の構成)
画像処理装置100は、以下に説明する構成要素により構成されている。データ取得部102は、画像処理装置100へと入力される3次元断層画像として、第1の画像および第2の画像を取得する。そして、データ取得部102は、第1の画像および第2の画像を特徴点抽出部104、位置合わせ部112、及び表示制御部114へと出力する。
特徴点抽出部104は、第1の画像および第2の画像を画像処理して、第1の画像および第2の画像における特徴点を抽出する。そして、特徴点抽出部104は、更にそれぞれの画像の間で特徴点を対応付けた特徴点の組(対応点座標の組)を取得する。特徴点抽出部104により抽出された特徴点を抽出特徴点と呼ぶ。また、両画像間で対応付けられた抽出特徴点の組を、抽出特徴点ペアと呼ぶ。そして、特徴点抽出部104は、取得した抽出特徴点を特徴点取得部106へと出力する。特徴点取得部106は、特徴点抽出部104が抽出した特徴点を、非優先特徴点として設定する。
特徴点取得部106は、第1の画像と第2の画像の少なくともいずれか一方から特徴点を取得する。すなわち、特徴点取得部106は、第1の画像と第2の画像の少なくともいずれか一方から取得した特徴点のうち、優先して位置合わせする優先特徴点と、優先特徴点よりも低い優先順位で位置合わせする非優先特徴点とを取得する。なお、両画像間で対応付けられた優先特徴点の組を優先特徴点ペアと呼ぶ。また、両画像間で対応付けられた非優先特徴点の組を非優先特徴点ペアと呼ぶ。
ここで、特徴点取得部106は、操作部180を介した作業者の指示に従って、第1の画像と第2の画像において対応する特徴点の組(対応点座標の組)を取得する。この、作業者によって指定される特徴点を入力特徴点と呼び、両画像間で対応付けられた入力特徴点の組を入力特徴点ペアと呼ぶ。さらに、特徴点取得部106は、操作部180を介した作業者の指示に従って、入力特徴点(入力特徴点ペア)を優先特徴点と非優先特徴点とに識別する識別情報(ラベル)を取得する。優先特徴点を識別するための識別情報を優先ラベルといい、非優先特徴点を識別するための識別情報を非優先ラベルという。特徴点取得部106は、優先ラベルが付与された入力対応点(入力特徴点ペア)を、優先対応点(優先特徴点ペア)に確定する。また、非優先ラベルが付与された入力対応点(入力特徴点ペア)を、非優先対応点(非優先特徴点ペア)に確定する。さらに、特徴点取得部106は、特徴点抽出部104で抽出された抽出特徴点(抽出特徴点ペア)を、非優先特徴点(非優先特徴点ペア)として確定する。そして、特徴点取得部106は、確定した優先特徴点と非優先特徴点を、整合度算出部108、位置合わせ部112、および表示制御部114へと出力する。
整合度算出部108は、非優先特徴点(非優先特徴点ペア)の夫々の評価値として、優先特徴点および他の非優先特徴点を含む他の特徴点(他の特徴点ペア)に対する整合度を算出する。整合度算出部108は、非優先特徴点の夫々が、優先特徴点および他の非優先特徴点を含む他の特徴点によって定義される第1の画像と第2の画像との間の変形情報に整合する度合いを示す整合度を、夫々の非優先特徴点の評価値として算出する。ここで、整合度算出部108は、優先特徴点および非優先特徴点の位置に基づいて生成される変位場の情報に基づき、整合度を算出することが可能である。例えば、整合度算出部108は、対応する特徴点の位置(優先特徴点および非優先特徴点の位置)に基づいて生成される後述する二つの変位場の情報に基づいて、非優先特徴点の夫々について、他の特徴点に対する整合度を算出する。ここで、変位場は、第1の画像の各座標が第2の画像のどの座標に対応するか(どこに変位するか)を第1の画像の座標毎に表すものであり、ボリュームデータ、あるは、それを記述する関数によって表現される。整合度算出部108は、算出した整合度を重み設定部110へと出力する。
重み設定部110は、非優先特徴点の特性を評価する評価値に基づいて該非優先特徴点の重みを設定するとともに、該非優先特徴点の重みよりも大きい値の優先特徴点の重みを設定する。また、重み設定部110は、全ての特徴点ペア(優先特徴点ペア、非優先特徴点ペア)に対して、位置合わせのための重みを設定する。すなわち、重み設定部110は、整合度算出部108から取得した非優先特徴点ペアの評価値に基づいて、該非優先特徴点ペアの重みを設定する。また、非優先特徴点ペアの重みよりも大きい値を優先特徴点ペアの重みとして設定する。重み設定部110は、設定した各特徴点ペアの重みを位置合わせ部112へ出力する。
位置合わせ部112は、優先特徴点と優先特徴点の重み、および、非優先特徴点と非優先特徴点の重みに基づいて、第1の画像と第2の画像との位置合わせを行う。また、位置合わせ部112は、優先特徴点ペアと優先特徴点ペアの重み、および、非優先特徴点ペアと非優先特徴点ペアの重みに基づいて、第1の画像と第2の画像との位置合わせを行う。位置合わせ部112は、取得した特徴点ペア(優先特徴点ペア、非優先特徴点ペア)とその重みに基づき、第1の画像と第2の画像との間で変形位置合わせを行い、例えば、第2の画像に形状が一致するように第1の画像を変形させた変形画像を生成する。尚、変形画像の生成は、第1の画像に基づくものに限定されず、第1の画像に形状が一致するように第2の画像を変形させてもよい。そして、位置合わせ部112は、生成した変形画像を表示制御部114へと出力する。
表示制御部114は、位置合わせ部112の位置合わせ結果を表示部190に表示させる。ここで、表示制御部114は、第1の画像の断面画像および第2の画像の断面画像、特徴点、および変形画像などの情報を、表示部190に表示させる表示制御を行う。終了判定部116は、操作部180を介した作業者の指示に従って、位置合わせを終了するか否かの判定を行う。
次に画像処理装置100が行う処理を説明する。図2は、画像処理装置100が行う全体の処理手順を示すフローチャートである。
(データの取得)
ステップS200において、画像処理装置100のデータ取得部102は、データサーバ170から、第1の画像と第2の画像を取得する。データ取得部102は、取得した画像を特徴点抽出部104および表示制御部114に出力する。
(抽出特徴点の取得)
ステップS201において、画像処理装置100の特徴点抽出部104は、第1の画像および第2の画像をそれぞれ画像処理することで、それぞれの画像から特徴点(抽出特徴点)の抽出を行う。この処理は、例えば、インタレストオペレータ等の公知の画像特徴点抽出処理を用いることが可能である。
次に、特徴点抽出部104は、第1の画像および第2の画像から抽出されたそれぞれの抽出特徴点の間を1対1に対応付けすることによって、画像間で対応する抽出特徴点の組(抽出特徴点ペア)を生成する処理を行う。そして、特徴点抽出部104は、抽出特徴点ペアの情報を特徴点取得部106に出力する。さらに、特徴点取得部106は、全ての抽出特徴点ペアを非優先特徴点ペアとして確定する。なお、ここでは、抽出特徴点ペアの数が単数、複数の場合に関わらず、抽出特徴点ペアと表現する。特徴点抽出部104は、各画像の抽出特徴点ごとに特徴点近傍に関心領域を設定し、画像間で関心領域の画像類似度が高くなる特徴点同士を対応付けすることにより、抽出特徴点ペアを生成する。特徴点抽出部104は、画像類似度を計算する処理として、例えば、Sum of Squared Difference(SSD)やSum of Absolute Difference(SAD)、相互相関係数などの公知の手法を用いることが可能である。なお、画像間における抽出特徴点の対応付け方法はこれに限定されるものではなく、例えば、Random Sample Consensus(RANSAC)など、公知の技術であれば何でも良い。
(入力対応点の取得)
ステップS202において、画像処理装置100の特徴点取得部106は、操作部180を介した作業者の指示に従って、第1の画像と第2の画像との間で1対1に対応づけて入力される入力特徴点の組(入力特徴点ペア)を取得する。なお、ここでは、入力特徴点ペアの数が単数、複数の場合に関わらず、入力特徴点ペアと表現する。具体的な処理は、以下のようにして行う。
表示制御部114は、データ取得部102から取得した第1の画像の断面画像と第2の画像の断面画像を表示部190に表示させる。次に作業者は、操作部180が備えている入力部(例えば、マウスやキーボード)を操作することで、表示する断面画像を切り替え、着目する第1の画像の断面画像および第2の画像の断面画像を選択して表示部190に表示させる。例えば、表示制御部114は、表示部190に第1の画像の断面画像と第2の画像の断面画像とを並べて表示させる。次に表示部190に表示された断面画像において、作業者は、入力部の操作入力(例えば、マウスクリック等)によって、特徴点の位置を入力する。作業者の操作入力は操作部180を介して特徴点取得部106に入力される。このとき、操作部180は、表示部190に表示された画像において、特徴点を指定する指定部として機能する。指定部は、第1の画像の断面画像および第2の画像の断面画像において、対応する(作業者が対応する点として指示した)特徴点の組を入力特徴点ペアとして指定する。特徴点取得部106は、断面画像上で入力(指定)された特徴点の位置を、画像における断面画像の位置および姿勢を利用して3次元位置情報(3次元座標)に変換する。特徴点取得部106は、このような処理を、第1の画像と第2の画像の間の対応する特徴点についてそれぞれ行い、入力特徴点ペアとして取得する。表示制御部114は、位置合わせ結果として、表示部に第1の画像の断面画像と第2の画像の断面画像とを並べて表示させ、指定部は、第1の画像の断面画像および第2の画像の断面画像において、対応する特徴点の組を入力特徴点として指定する。表示制御部114は、入力特徴点を優先特徴点として設定するか、非優先特徴点として設定するかを選択するための選択入力部を表示部に表示させる。すなわち、表示制御部114は、特徴点の夫々を、優先して位置合わせする優先特徴点として設定するか、該優先特徴点よりも低い優先順位で位置合わせする非優先特徴点として設定するかを選択するための選択入力部を表示部に表示させる。ここで、位置合わせ部112は、特徴点と、選択入力部で選択された情報を利用して、第1の画像と第2の画像とを位置合わせすることが可能である。
図3は、作業者が入力特徴点ペアを入力するための表示画面を例示する図である。表示制御部114は、表示部190の表示画面300に第1の断面画像301(第1の画像の断面画像)と第2の断面画像302(第2の画像の断面画像)とを並べて表示させる。そして、作業者によって入力された第1の断面画像301の入力特徴点303と、対応する第2の断面画像302の入力特徴点304が表示部190の表示画面に示されている。このようにして、各画像上で指定された入力特徴点の組は、入力特徴点ペアとして、同じ識別番号(ID)が付与されて対応付けられるものとする。
(優先ラベル/非優先ラベルの取得)
ステップS203において、画像処理装置100の特徴点取得部106は、作業者の指示に従って、ステップS202で取得した入力特徴点(入力特徴点ペア)の夫々に設定する優先ラベルまたは非優先ラベルを取得する。ステップS202で入力特徴点が取得された後に、表示制御部114は、表示画面300上に特徴点の種類(優先特徴点、非優先特徴点)を選択するための選択入力部305(GUI)を表示させる。すなわち、表示制御部114は、入力特徴点を優先特徴点として設定するか、非優先特徴点として設定するかを選択するための選択入力部305を表示画面300に表示させる。特徴点取得部106は、選択入力部305の選択に応じて、優先特徴点および非優先特徴点の設定を行う。
特徴点取得部106は、操作部180を介した作業者の指示に従って、入力特徴点を優先特徴点として設定するか、非優先特徴点として設定するかを識別する識別情報(ラベル)を取得する。選択入力部305(GUI)から「優先特徴点」が選択された場合、特徴点取得部106は優先ラベルを取得し、入力特徴点を優先特徴点として設定する。入力特徴点ペアを構成する一方の入力特徴点に対して優先ラベルが設定されると、特徴点取得部106は、その入力特徴点ペアを構成する他方の入力特徴点に対して、同じラベル(優先ラベル)を設定する。すなわち、その入力特徴点ペアに優先ラベルが設定されることになる。
また、選択入力部305(GUI)から「非優先特徴点」が選択された場合、特徴点取得部106は非優先ラベルを取得し、入力特徴点を非優先特徴点として設定する。入力特徴点ペアを構成する一方の入力特徴点に対して非優先ラベルが設定されると、特徴点取得部106は、その入力特徴点ペアを構成する他方の入力特徴点に対して、同じ非優先ラベルを設定する。すなわち、その入力特徴点ペアに非優先ラベルが設定されることになる。
また、作業者に優先ラベルまたは非優先ラベルを選択させるための選択入力部305(GUI)の表示は、図3の表示例に限らず、優先ラベル/非優先ラベルの選択が可能であればどのような方式であってもよい。例えば、表示画面300内の領域に優先ラベル/非優先ラベルを選択するためのラジオボタンを配置しておき、作業者にそのラジオボタンを押下させるようにしてもよい。
ここで、「優先ラベル」を付与する入力特徴点としては、例えば、被検体内の血管の分岐部などの作業者が3次元位置を特定でき、画像間で同定可能な特徴点が挙げられる。また、「非優先ラベル」を付与する入力特徴点としては、明確な3次元位置の対応が取りにくく、作業者の判定において曖昧さが含まれる特徴点が挙げられる。尚、この例に限定されず、作業者は画面上において、優先ラベル/非優先ラベルの選択を任意に行うことが可能である。
(優先特徴点ペア・非優先特徴点ペアの確定)
ステップS204において、画像処理装置100の特徴点取得部106は、入力特徴点(入力特徴点ペア)に設定された優先ラベルまたは非優先ラベルの情報と、抽出特徴点ペアの情報に基づき、優先特徴点ペアと非優先特徴点ペアを確定する。
具体的には、特徴点取得部106は、全ての入力特徴点ペアのうち、優先ラベルが設定された入力特徴点ペアの夫々を優先特徴点ペアとして確定する。また、特徴点取得部106は、非優先ラベルが設定された入力特徴点ペアの夫々を非優先特徴点ペアとして確定する。
ここでは、優先特徴点ペアおよび非優先特徴点ペアの数が単数、複数の場合に関わらず、それぞれ優先特徴点ペアおよび非優先特徴点ペアと表現する。
表示制御部114は、第1の画像の断面画像と第2の画像の断面画像において、優先特徴点と非優先特徴点とを異なる表示形式で表示部190に表示させる。例えば、表示制御部114は、表示中の断面画像上の近傍に存在する優先特徴点と非優先特徴点の位置を、異なる表示様態で断面画面上に重畳表示することが可能である。
図4は、優先特徴点と非優先特徴点とを表示する表示画面300を例示する図である。図4において、優先特徴点403が第1の断面画像301上に表示されており、それに対応する優先特徴点404が第2の断面画像302上に○印で表示されている。また、非優先特徴点405が第1の断面画像301上に表示されており、それに対応する非優先特徴点406が第2の断面画像302上に×印で表示されている。図4に示すように、第1の断面画像301および第2の断面画像302が1つの表示画面300上に並べて表示された状態で、優先特徴点および非優先特徴点をそれぞれ断面画像に重畳表示することにより、作業者は、複数の画像間において、各特徴点の位置関係を視覚的に確認することが可能になる。
(特徴点入力終了判定)
ステップS205において、画像処理装置100の特徴点取得部106は、操作部180を介して、特徴点入力の終了指示(作業者の操作入力)が入力されたか否かを判定する。特徴点入力の終了指示が入力されていない場合(S205−No)、特徴点取得部106は、処理をステップS202に戻し、同様の処理を繰り返す。一方、ステップS205の判定で、特徴点入力の終了指示が入力されている場合(S205−Yes)、特徴点取得部106は以下の処理を行う。すなわち、ステップS202から本ステップまでの処理によって確定した優先特徴点ペアと非優先特徴点ペアとを、表示制御部114と、整合度算出部108と位置合わせ部112に出力して、処理をステップS206に進める。
(夫々の非優先特徴点ペアの整合度を算出)
ステップS206において、画像処理装置100の整合度算出部108は、非優先特徴点ペアの夫々について、それ以外の他の特徴点ペアに対する整合度を算出する。すなわち、整合度算出部108は、非優先特徴点ペアの1つを注目点ペアとしたときに、該注目点ペアと、他の特徴点ペア(優先特徴点ペアおよび他の非優先特徴点ペアを含む、注目点ペア以外の他の特徴点ペア)との間の整合度を算出する。そして、整合度算出部108は、算出した整合度を重み設定部110に送信する。
以下、図5のフローチャートを用いて、夫々の非優先特徴点ペアの整合度を算出するステップS206の処理の詳細について説明する。
(S500)
ステップS500において、整合度算出部108は、非優先特徴点ペアの中から注目する特徴点ペア(注目特徴点ペアと呼ぶ)を一つ取得する。但し、既に注目特徴点ペアとして一度取得された非優先特徴点ペアは、取得する対象から除外する。
(S501)
ステップS501において、整合度算出部108は、全ての特徴点ペアから注目特徴点ペアを除いた特徴点ペア(残特徴点ペアと呼ぶ)の位置に基づき、第1の変位場を算出する。すなわち、整合度算出部108は、優先特徴点ペアと、注目する非優先特徴点ペアを除いた非優先特徴点ペアの位置に基づいて、第1の画像と第2の画像との間の変位場を取得する。ここで、全ての特徴点ペアとは、全ての優先特徴点ペアと非優先特徴点ペアとを合わせた特徴点ペアである。
具体的には、整合度算出部108は、残特徴点ペアの位置(3次元位置情報)に基づき、優先特徴点と、注目する非優先特徴点を除いた非優先特徴点の位置に基づいて、第1の画像と第2の画像との間の変位場(第1の変位場)を算出する。この変位場(第1の変位場)は、第1の画像上の残特徴点ペアを構成する残特徴点の位置を、対応する第2の画像上の、その残特徴点ペアを構成する残特徴点の位置へと極力近づくように変位させ、かつ空間的に滑らかに変位を補間した変位場である。なお、整合度算出部108は、変位場の算出方法として、例えば、Bスプライン関数の補間によって変形を表すFree−form deformation(FFD)等の公知の手法を用いることが可能である。本実施形態では、FFDが表す変位の場を第1の変位場とする。第1の変位場は、注目特徴点ペアを除いた特徴点ペア(残特徴点ペア)の位置(3次元位置情報)が反映された変位場である。なお、第1の変位場を求める処理は、注目特徴点ペアを用いないという条件を満たす変位場算出処理であれば、必ずしも、全ての残特徴点ペアを用いる方法でなくてもよい。
(S502)
ステップS502において、整合度算出部108は、全ての特徴点ペアの位置に基づき、優先特徴点と、注目する非優先特徴点を含めた非優先特徴点の位置に基づいて、第1の画像と第2の画像との間の変位場(第2の変位場)を算出する。すなわち、整合度算出部108は、優先特徴点ペアと、注目する非優先特徴点ペアを含めた全ての非優先特徴点ペアの位置に基づいて、第2の変位場を取得する。使用する特徴点ペアは異なるが変位場算出の具体的な方法はステップS501と同様であるため、説明は省略する。第2の変位場は、注目特徴点ペアを含む全ての特徴点ペアの位置(3次元位置情報)が反映された変位場である。なお、第2の変位場を求める処理は、ステップS501の処理で用いた残特徴点ペア(必ずしも全ての残特徴点ペアとは限らない)に注目特徴点ペアを加えた情報に基づいて求めるという条件を満たす変位場算出処理であれば、全ての特徴点ペアを用いる方法でなくてもよい。
(S503)
ステップS503において、整合度算出部108は、ステップS501で算出した第1の変位場とステップS502で算出した第2の変位場とを用いて、残特徴点ペアに対する注目特徴点ペアの整合度を算出する。ここでの整合度は、具体的には、残特徴点ペアに注目特徴点ペアを追加することによって生じる変位場の局所的な歪みを定量化したものである。整合度算出部108は、第1の変位場と第2の変位場とを比較することにより、注目特徴点ペアの位置(3次元位置情報)が変位場の算出に与える影響を、整合度として取得することができる。例えば、注目する非優先特徴点について、整合度算出部108は、第1の変位場と第2の変位場との差異に基づいて、注目する非優先特徴点の整合度を算出する。また、注目する非優先特徴点ペアについて、整合度算出部108は、第1の変位場と第2の変位場との差異に基づいて、注目する非優先特徴点ペアの整合度を算出する。整合度算出部108は、注目特徴点ペアを追加しなかった場合と追加した場合との間で、その注目特徴点ペアを構成する特徴点の位置における変位場の向きが大きく変化した場合に、整合度は低いと評価する。その反対に、整合度算出部108は、変位場の向きの変化が小さかった場合に、整合度は高いと評価する。
本実施形態では、注目特徴点の位置における変位場の差異に基づいて、整合度を定式化する。ここで、第1の変位場をT、第2の変位場をTと表す。このとき、TおよびTは、第1の画像の座標系が表す空間上で定義される3次元の値を持つ関数である。各関数は、第1の画像の座標系から第2の画像の座標系への変換を意味しており、第1の画像の座標系における任意の位置を引数とし、第2の画像の座標系における対応する位置への変位(3次元の変位ベクトル)を返す関数である。
第1の画像上における注目特徴点ペアを構成する注目特徴点の位置pについて、第1の変位場(T)と第2の変位場(T)の変位ベクトルをそれぞれtp,1、tp,2とすると、整合度算出部108は、整合度Mを以下の(1)式を用いて算出することが可能である。
M=tp,1・tp,2 /(|tp,1|・|tp,2|)・・・(1)
この計算は、tp,1、tp,2の二つの変位ベクトルがなす角度の余弦を計算することを意味する。したがって、二つの変位ベクトルがなす角度が小さい場合には整合度Mの値は高くなり、整合度算出部108は、整合度Mの評価を高くする。また、二つの変位ベクトルのなす角度が大きい場合には整合度Mの値は低くなり、整合度算出部108は、整合度Mの評価を低くする。また、(1)式において、Mの値は変位ベクトルがなす角度の余弦であるため、整合度算出部108は、−1≦M≦1の範囲で整合度を算出する。すなわち、整合度算出部108は、注目特徴点の位置において二つの変位場が示す変位ベクトルの角度差に基づいて、当該注目特徴点の整合度を算出する。
なお、整合度算出部108は、整合度を、変位場TおよびTの差異に基づく他の方法で行うことも可能である。例えば、整合度算出部108は、注目特徴点の位置pについて、TとTのヤコビ行列の行列式(ヤコビアン)を夫々求め、行列式(ヤコビアン)の差分に基づいて整合度を算出することも可能である。この場合、整合度算出部108は、局所領域の体積が変化した場合には整合度を低く判定することが可能である。整合度算出部108は、注目特徴点の位置pの近傍の各点において(1)式の値やヤコビアンの値を求め、その積分値を整合度として算出することも可能である。尚、上記の各方法は、本発明の実施形態に過ぎず、二つの変位場を入力として計算される二つの変位場の差異の定量値であれば、上記の各方法に限定されず、いかなる方法で整合度を算出しても良い。
(S504)
ステップS504において、整合度算出部108は、全ての非優先特徴点ペアについて、整合度を算出したか否かを判定する。全ての非優先特徴点ペアの整合度が算出されていれば(S504−Yes)、ステップS206の処理を終了する。一方、整合度が算出されていない非優先特徴点ペアが残されていれば(S504−No)、ステップS500へと処理を戻し、整合度算出部108は、整合度が算出されていない非優先特徴点ペアについて、同様の処理を行う。以上の処理により、夫々の非優先特徴点ペアについて、それ以外の特徴点ペアとの整合度を算出することができる。整合度の算出処理が終了すると、処理は図2のステップS207に進められる。
(特徴点ペアの重みを設定)
ステップS207において、重み設定部110は、全ての特徴点ペア(優先特徴点ペア、非優先特徴点ペア)に対して、位置合わせのための重みを設定する。そして、重み設定部110は、設定した重みの値を位置合わせ部112と表示制御部114に送信する。
まず、重み設定部110は、第1の画像と第2の画像の位置合わせにおいて、優先特徴点ペアを一致させるという拘束条件が十分に働く値に優先特徴点ペアの重みを設定する。ここでは、夫々の優先特徴点ペアをPp,i(0≦i≦N,Nは優先特徴点ペアの個数)としたとき、優先特徴点ペアPp,iに対応する重みをwp,iと表記する。重み設定部110は、例えば、全ての優先特徴点ペアPp,iの重みを、wp,i=1.0に設定する。
次に、重み設定部110は、非優先特徴点ペアの重みを、ステップS206で求めた夫々の非優先特徴点ペアの整合度に基づいて設定する。ここでは、夫々の非優先特徴点ペアをPn,j(0≦j≦N,Nは非優先特徴点ペアの個数)としたとき、非優先特徴点ペアPn,jに対応する重みをwn,jとする。また、非優先特徴点ペアPn,jに対応する整合度をMとする。ここで、通常、位置合わせのための重みは0以上であるのに対し、整合度Mの値の範囲は−1≦M≦1であるため、重み設定部110は、以下の(2)式で重みwn,jを設定する。
n,j=0.5・M+0.5・・・(2)
これにより、整合度Mの大きさに応じて、0≦wn,j≦1(=wp,i)の範囲で重みwn,jを設定することができる。
表示制御部114は、重み設定部110から取得した、優先特徴点ペアに対する重みwp,iと、非優先特徴点ペアに対する重みwn,jの情報を表示中の断面画像に重畳表示する。
図6は、位置合わせのための重みの情報が断面画像に重畳表示された表示画面300を例示的に示す図である。図6において、優先特徴点ペアに対する重みwp,iの一例として、優先特徴点403、404(優先特徴点ペア)に対応する重み607、608(値=1.0)が、それぞれ第1の断面画像301(第1の画像の断面画像)と第2の断面画像302(第2の画像の断面画像)上に表示されている。また、非優先特徴点ペアに対する重みwn,jの一例として、非優先特徴点405、406に対応する重み609、610(値=0.2)が、それぞれ第1の断面画像301と第2の断面画像302上に表示されている。これにより、作業者は位置合わせ前にどの特徴点ペアがどの程度重み付けされて位置合わせされるかを把握することができる。
(変形位置合わせ)
ステップS208において、画像処理装置100の位置合わせ部112は、第1の画像と第2の画像の変形位置合わせを行う。すなわち、ステップS207までの処理で取得した全ての特徴点ペア(優先特徴点ペアと非優先特徴点ペア)とその重みの値を用いて、第1の画像から第2の画像への変位場を推定する。そして、推定した変位場に基づいて、第2の画像と形状が一致するように第1の画像を変形させた変形画像を生成する。このとき、位置合わせ部112は、優先特徴点ペアに対する重みwp,iと、非優先特徴点ペアに対する重みwn,jの値に基づき、優先特徴点ペアPp,iおよび非優先特徴点ペアPn,jがそれぞれ画像間で一致するように、第1の画像と第2の画像との間の変位場を推定する。
本実施形態では、位置合わせ部112は、位置合わせ処理において、変形位置合わせの適切さを評価する評価関数Eを最適化手法により最小化するような変位場を算出する。位置合わせ部112は、最適化手法として、一般的な手法である、最急降下法やニュートン法を用いることが可能である。但し、本実施形態の趣旨は、この例に限定されるものではなく、位置合わせ部112は、その他の最適化手法を用いることが可能である。
評価関数Eは、2つの画像間で、特徴点ペアの位置ずれをできるだけ小さくする拘束条件を表す項θ(x’,x)と、2つの画像間の画像の非類似度をできるだけ小さくする拘束条件を表す項Φ(I’,I)で構成され、以下の数式で記述される。ここで、第1の画像上の全ての特徴点(優先特徴点+非優先特徴点)の集合をxとしたとき、x’は、評価関数Eの最適化最中において変形させた第1の画像上の全ての特徴点の座標の集合を表す。
はx’に対応する第2の画像上の全ての特徴点の座標の集合を表す。また、第1の画像をIとしたとき、I’は最適化最中において変形させた第1の画像を表し、Iは第2の画像を表す。なお、第1の画像Iと第2の画像Iは、データ取得部102から取得されたものである。
E=wθ・θ(x’, x)+wΦ・Φ(I’,I)・・・(3)
但し、wθ、wΦは、項θと項Φをバランスさせる重み係数である。本実施形態では、例示的な設定として、wθ=1.0、wΦ=1.0とする。また、項θは以下の式で表される。
但し、x1,iおよびx1,jをそれぞれ、第1の画像上の全ての特徴点xに含まれるi番目の優先特徴点およびj番目の非優先特徴点の座標を表すとしたときに、x1,i’およびx1,j’は、それぞれ、最適化の最中における変位場に従って座標x,iおよびx1,jを第1の画像から第2の画像に変位させた座標を表す。また、x2,iおよびx2,jは、それぞれ、第2の画像上の全ての特徴点xに含まれるi番目の優先特徴点およびj番目の非優先特徴点の座標を表す。(4)式により、重みwp,iまたは重みwn,jの値が大きいほど、それに対応する特徴点ペアの残差が項θ全体に与える影響が大きくなる。このため、位置合わせ処理における最終的な位置合わせ結果では、項θ全体を小さくするために、位置合わせ部112は、影響が大きい特徴点ペアほど残差を小さくするように位置合わせ処理を行う。これにより、影響が大きい特徴点ペアである全ての優先特徴点ペアは、重みが大きいため、画像間で十分に一致させることができる。一方、重みの値が小さい非優先特徴点ペアは、画像間で十分に一致しないという結果が生じ得る。
なお、2つの画像間の画像の非類似度をできるだけ小さくする拘束条件を表す項Φ(I’,I)については、一般的な画像類似度を用いた拘束条件であるので詳細な説明については省略する。位置合わせ部112は、位置合わせ処理において、例えば、ステップS501で用いたFree−form deformation(FFD)等の公知の手法を用いた変形モデルにより変位場を表現する。
また、上記の位置合わせ結果において、基準となる閾値と比較して優先特徴点ペアの残差が十分に小さくならなかった場合には、位置合わせ部112は、更に、優先特徴点ペア(例えば、第1の画像における優先特徴点)の近傍のみを局所的に変形させて優先特徴点ペアを一致させる位置合わせ処理を行う。例えば、位置合わせ部112は、入力された特徴点を完全に一致させるための一般的な手法である、Radial Basis Function(RBF)を利用した位置合わせ手法を用いることが可能である。RBFにおける基底関数として、例えば、ガウス関数のような原点から離れるほど値が大幅に減衰する関数を採用することで、位置合わせ部112は、変形が及ぼす影響範囲を優先特徴点ペアの近傍のみに留める位置合わせを行うことができる。なお、位置合わせ部112は、局所的な位置合わせのために上記のRBFを用いるのは例示的なものであり、変形が及ぼす範囲が局所的であり、かつ特徴点を確実に一致させる手法であれば、採用する手法はRBFに限らない。
最後に、位置合わせ部112は、生成された変位場を第1の画像に適用することで、第2の画像と形状が一致するように第1の画像を変形させた変形画像を生成する。また、必要に応じて、第1の画像と形状が一致するように第2の画像を変形させた変形画像を生成する。位置合わせ部112は、推定した変位場と生成した変形画像を不図示の記憶媒体に保存する。また、生成した変形画像を表示制御部114に出力する。以上の処理(変位場の推定と変形画像の生成)により、第1の画像と第2の画像の変形位置合わせが実行される。
(変形画像の表示)
ステップS209において、画像処理装置100の表示制御部114は、ステップS208で生成された変形画像を表示部190に表示させる表示制御を行う。図7は、変形画像を表示した表示画面を例示する図である。図7において、表示制御部114は、変形画像の断面画像として、変形後の第1の断面画像701を表示する。変形後の第1の断面画像701において、変形後の優先特徴点703は図6の優先特徴点403に相当し、変形後の非優先特徴点705は図6の非優先特徴点405に相当する。
図7に示すように、位置合わせ部112の位置合わせ処理の結果により、重み607の値(値=1.0)が大きい、変形後の優先特徴点703は、第2の断面画像302上の優先特徴点404にほぼ一致する位置に位置合わせされる。
一方、重み609の値(値=0.2)が小さい、変形後の非優先特徴点705は、位置合わせ部112の位置合わせ処理の結果により、第2の断面画像302上の非優先特徴点405とは離れた位置に位置合わせされる。本実施形態により、必ず重みが大きく設定される優先特徴点ペアは画像間で一致した位置に位置合わせされる。また、重みが小さく設定された(つまり、他の特徴点との整合度が小さい)非優先特徴点は、画像間で一致させない状態に留めることができる。これにより、優先特徴点を含む他の特徴点と整合しない非優先特徴点を無理やり一致させることにより、不自然な変形が発生してしまうことを防ぐことができる。
(終了処理)
ステップS210において、画像処理装置100の終了判定部116は、終了指示(作業者の操作入力)が入力されたか否かを判定する。終了指示が入力されていない場合(S210−No)、終了判定部116は、処理をステップS202に戻し、同様の処理を繰り返す。一方、ステップS210の判定で、終了指示が入力されている場合(S210−Yes)、終了判定部116は、処理を終了させる。表示制御部114は、表示部190の表示画面に、作業者が処理を続けるか(S210−No)、終了するか(S210−Yes)を選択するためのGUI(例えば、ウィンドウ、アイコンやラジオボタン等)を表示し、GUIを介した作業者の操作入力により、終了判定部116は、処理を終了させるか、処理を続行するかを判定する。以上の処理手順に従って、画像処理装置100は処理を実行する。
本実施形態によれば、作業者が確実に一致させたい特徴点(優先特徴点)について確実に一致させることが可能になる。そして、優先特徴点以外の非優先特徴点については、他の特徴点との整合度に応じて位置合わせを行うことが可能になる。これにより、優先特徴点を含む全体の特徴点と空間的に矛盾するような非優先特徴点が存在する場合でも、作業者が確実に一致させたい特徴点(優先特徴点)が確実に一致するように位置合わせを行うこと可能になり、かつ全体的に変形の不自然さのない適切な位置合わせ結果を得ることができる。
<変形例1:優先ラベル/非優先ラベルを後で設定>
第1実施形態の図2のステップS203では、直前のステップS202で取得された入力特徴点に対して、表示制御部114は、表示画面300上に特徴点の種類(優先特徴点、非優先特徴点)を選択するための選択入力部305(GUI)を表示させていた。そして、特徴点取得部106は、操作部180を介した作業者の指示に従って、入力特徴点を優先特徴点として設定するか、非優先特徴点として設定するかを識別する識別情報(優先ラベル、非優先ラベル)を取得する構成を説明した。しかしながら、優先ラベルまたは非優先ラベルを取得する構成は、この例に限定されるものではない。
例えば、ステップS203において、表示制御部114は、ステップS202の直後に選択入力部305(GUI)を表示画面300に表示させずに、後で作業者が優先ラベルまたは非優先ラベルを設定するようにしてもよい。その場合、特徴点取得部106は、ステップS202で直前に取得された入力特徴点に対して、優先ラベルまたは非優先ラベルを設定せず、入力特徴点を「ラベルなし」の状態とする。
そして、表示制御部114は、直前のステップS202で入力された入力特徴点以外の、既に入力済みの入力特徴点ペアの情報を特徴点取得部106から取得し、それらを表示部190に表示する。そして、作業者は、表示された全ての入力特徴点ペアの中から、優先ラベルまたは非優先ラベルを付与(あるいは変更)したい入力特徴点ペアを操作部180によって指定する。例えば、作業者は、表示部190に表示されている、既に入力済みの入力特徴点ペアの中から、優先ラベルまたは非優先ラベルを付与する入力特徴点を、操作部180を介してまとめて指定することができる。
表示制御部114は指定された入力特徴点ペアに対して、優先ラベルまたは非優先ラベルを選択するための選択入力部(GUI)を表示させる。特徴点取得部106は、作業者が表示された選択入力部(GUI)上で選択した優先ラベルまたは非優先ラベルの情報を取得する。表示制御部114は、後に入力する選択入力部(GUI)として、先に説明したステップS203と同様の選択入力部305を表示画面300に表示させる。作業者は、選択入力部(GUI)を介した操作入力を繰り返すことで、複数の入力特徴点ペアについて優先ラベルまたは非優先ラベルをまとめて設定することができる。
<変形例2:優先ラベル/非優先ラベルを初期値として設定>
第1実施形態の変形例2として、特徴点取得部106は、ステップS203で優先ラベルまたは非優先ラベルを設定するのではなく、初期値として、入力特徴点ペアに対する「優先ラベル」、または「非優先ラベル」、または「ラベルなし」の何れかを予め付与するようにしてもよい。本変形例によれば、ステップS202からステップS204の処理を、特徴点入力の処理が終了するまで繰り返すことで、作業者は入力特徴点ごとに優先ラベルまたは非優先ラベルを選択する手間をかけずに、複数の入力特徴点をまとめて入力することができる。そして、「ラベルなし」の入力特徴点ペアについて、特徴点取得部106は、後に優先ラベルまたは非優先ラベルをまとめて設定する。この場合、表示制御部114は、変形例1で説明したように、優先ラベルまたは非優先ラベルを選択するための選択入力部(GUI)を表示させる。特徴点取得部106は、作業者が表示された選択入力部(GUI)上で選択した優先ラベルまたは非優先ラベルの情報を取得し、そして、特徴点取得部106は、初期値として「ラベルなし」の入力特徴点ペアについて取得したラベルを設定する。
ここで、初期値として「ラベルなし」が設定されている入力特徴点ペアに対してラベル(優先ラベル、非優先ラベル)が設定されず、かつ、ステップS205において、作業者から特徴点入力の終了指示が入力された場合、表示制御部114は、作業者に対して、優先ラベルまたは非優先ラベルが、まだ設定されていない入力特徴点ペアが存在することを報知する報知表示を表示部190に表示させる。表示制御部114の表示制御により、表示部190に報知表示がされると、例外的に、特徴点取得部106は、ステップS203に処理を進め、入力特徴点(入力特徴点ペア)に設定する優先ラベル/非優先ラベルを取得する。これにより、作業者は、まだ優先ラベルまたは非優先ラベルが設定されていない入力特徴点ペアにラベルを設定することができる。このとき、表示制御部114は、ラベル(優先ラベルまたは非優先ラベル)が設定されていない入力特徴点ペアの表示を、既にラベル(優先ラベルまたは非優先ラベル)が設定された入力特徴点ペアに対して表示画面300上で区別できるようにするため、表示を異ならせるように表示制御を行う。例えば、ラベル(優先ラベルまたは非優先ラベル)が設定されていない入力特徴点ペアについて、表示制御部114は、例えば、図3の入力特徴点303、304のように点線の○で表示するように表示制御を行う。また、表示制御部114は、ラベルが設定された入力特徴点ペアについて、優先ラベルまたは非優先ラベルの値に応じて、図4の優先特徴点403、404(優先特徴点ペア)、および非優先特徴点405、406(非優先特徴点ペア)と同様に、実線の○と×で表示されるように表示制御を行う。このような表示制御により、作業者は、表示された入力特徴点ペアの中から、どの入力特徴点ペアについて、まだラベル(優先ラベルまたは非優先ラベル)が設定されていないかを認識することができる。
そして、ステップS204において、特徴点取得部106は、全ての入力特徴点ペアに対して優先ラベルまたは非優先ラベルが設定されているときのみ、処理をステップS205に移すようにする。これにより、特徴点取得部106は、優先ラベルまたは非優先ラベルが未設定の入力特徴点ペアを取得しないように、ラベル(優先ラベルまたは非優先ラベル)の設定を行うことができる。
<変形例3:重みを0か1で設定>
第1実施形態のステップS207では、優先特徴点ペアおよび非優先特徴点ペアの重みを、細かい段階で設定できるようにした構成例を説明した。しかし、重みの設定はこの例に限定されるものではなく、例えば、重み設定部110は、優先特徴点ペアおよび非優先特徴点ペアに対して、「1」または「0」のどちらかを設定することも可能である。具体的には、優先特徴点ペアは確実に一致させるものであるため、重み設定部110は、全ての優先特徴点ペアの重みを「1」を設定する。非優先特徴点ペアに関しては、ステップS206で求めた整合度が一定の閾値以上となる場合に、重み設定部110は、整合度が閾値以上となる非優先特徴点ペアの重みを「1」に設定する。整合度が閾値未満となる場合に、重み設定部110は、閾値未満となる非優先特徴点ペアの重みを「0」を設定する。例えば、重み設定部110は、整合度が0以上ならば、非優先特徴点ペアの重みを「1」に設定し、整合度が0未満ならば、非優先特徴点ペアの重みを「0」に設定するようにする。これにより、位置合わせにおいて、整合度が閾値未満となる重み「0」の非優先特徴点ペアは無視される。位置合わせ部112は、実質的には全ての優先特徴点ペアと、重み「1」に設定された非優先特徴点ペアとを用い、かつ、それらの特徴点は全て平等に扱って、位置合わせする。
位置合わせ部112は、例えば、ステップS208における、Radial Basis Function(RBF)を利用した位置合わせ手法に対して、本変形の重み付けを適用することができる。この場合、RBFを利用した位置合わせ手法において、重み「0」の特徴点ペアは完全に無視される一方で、非優先特徴点であっても重み「1」の特徴点ペアは完全に一致させることができる。第1実施形態では、優先特徴点ペアが一致の対象となる例を説明したが、本変形例によれば、位置合わせ処理において、優先特徴点ペアが一致の対象となるばかりではなく、更に、整合度が閾値以上となる非優先特徴点ペアが一致の対象となる。すなわち、本変形例によれば、位置合わせ部112は、第1実施形態の構成に比べて、より広い範囲で位置合わせを行うことが可能になる。
<変形例4:優先特徴点の重みも評価値に基づいて設定する>
第1実施形態のステップS206、S207では、非優先特徴点ペアのみ、評価値(整合度)に基づいて重みを設定し、優先特徴点ペアには一定の値(1)を設定する構成例を説明した。しかし、優先特徴点ペアの重みの設定はこの例に限定されるものではない。例えば、ステップS206において、整合度算出部108は、非優先特徴点ペアの整合度だけではなく、優先特徴点ペアの整合度も同様の方法で算出するようにしてもよい。そして、ステップS207において、重み設定部110は、ステップS207で算出した整合度に基づいて、優先特徴点ペアの重みも算出するようにしてもよい。このとき、優先特徴点ペアは、基本的には作業者が必ず一致させたい特徴点ペアであるため、重みを調整する範囲は、非優先特徴点ペアよりもごく小さく設定する。さらに、優先特徴点ペアの重みは非優先特徴点ペアよりも大きいという条件は必ず満たすようにする。例えば、整合度の値に基づいて、非優先特徴点ペアの重みを0.0〜0.9の範囲で設定し、優先特徴点ペアの重みを0.9〜1.0の範囲で設定するようにする。これは、ステップS206において非優先特徴点ペア、優先特徴点ペアの整合度をそれぞれMn,j、Mp,iとして算出したとき、それぞれを(2)式のMに代入して重みの暫定値をそれぞれ取得し、さらに各暫定値をそれぞれ上述の設定範囲で正規化することで算出することができる。これにより、優先特徴点ペアに関しても、他の特徴点ペアに対する整合性を考慮した重みを設定でき、作業者が入力した特徴点ペアであっても、全体の特徴点ペアと空間的に矛盾するような場合は、位置が一致する度合いを少し小さくした位置合わせ結果を得ることができる。
<変形例5:特徴点は画像間で1対1に対応する点でなくても良い>
第1実施形態における優先特徴点と非優先特徴点は、第1の画像と第2の画像の間で1対1に対応する点であった。しかし、優先特徴点と非優先特徴点は画像間で必ずしも1対1に対応する点でなくてもよく、例えば、第1の画像または第2の画像の何れか一方のみから取得された、他方の画像上において対応する点の座標が明らかではない特徴点であってもよい。以下、特徴点として対応点を与えない場合の処理ステップについて、実施形態との差異を説明する。
まず、ステップS201において、特徴点抽出部104は、第1の画像および第2の画像の少なくともいずれか一方から抽出特徴点を抽出する。このとき、画像間における特徴点の対応付け処理は行わない。そして、特徴点取得部106は、全ての抽出特徴点(ペアでない)を非優先特徴点に確定する。
次に、ステップS202において、特徴点取得部106は、第1の画像および第2の画像の少なくともいずれか一方に関して作業者が入力した入力特徴点を取得する。このときも同様に、画像間における特徴点の対応付けは行わない。
そして、ステップS203とステップS204において、特徴点取得部106は、作業者が付与する優先ラベルと非優先ラベルに基づき、夫々の入力特徴点(ペアでない)が優先特徴点と非優先特徴点の何れであるかを確定する。
ステップS206において、整合度算出部108は、非優先特徴点(ペアでない)の夫々について、それ以外の他の特徴点に対する整合度を算出する。
まず、整合度算出部108は、ステップS206の内部処理であるステップS501において、全ての特徴点から注目特徴点を除いた特徴点(ペアでない)に基づいて、第1の変位場を算出する。このとき、特徴点は対応付けられていないため、ステップS501に記載した、特徴点ペアの位置を一致させるように画像を変位させる方法で変位場を求めることはできない。そこで、例えば第1の画像上で与えられた特徴点の周囲に関心領域(ROI)を設定し、設定された関心領域(ROI)を第2の画像上で移動させながら、各位置における関心領域(ROI)とそれに対応する第2の画像上の領域との画像の非類似度を計算する。そして、第2の画像上の各位置を変数とした非類似度関数を取得する。この非類似度関数を特徴点ごとに取得し、夫々の非類似度関数の和を評価関数として定義し、最適化処理を用いて評価関数の値を極力最小にするように第1の画像を第2の画像に向けて変位させることで、変位場を算出する。これにより、特徴点に対応する点が与えられなくても、例えば、第1の画像上の特徴点付近の領域と、第2の画像上のそれに類似する領域が概ね近くなるような変位場を求めることができる。
なお、非類似度関数の算出は、例えば、予め画像間の変形が小さいことが分かっている場合は、画像の変形前に一度だけ計算するようにする。そうでない場合は、画像間の変形量が一定の値より大きくなるたびに非類似度関数を再計算して更新するようにする。変形量の計算は、例えば、画像間の変位場における各位置の変位量の平均値を採用し、非類似度関数を更新するごとに値がリセットされるものとする。
整合度算出部108はさらに、ステップS502において、全ての特徴点(ペアでない)に基づいて、第2の変位場を算出する。変位場の算出方法はステップS501と同様であるため、説明を省略する。そして、ステップS503において、注目特徴点の整合度を算出し、ステップS207において、重み設定部110は、優先特徴点と非優先特徴点の重みを設定する。これらの2つの処理は、元の処理において特徴点ペアであった部分を対応付けられていない特徴点に置き換えただけのものなので、具体的な説明は省略する。
そして、ステップS208において、位置合わせ部112は、優先特徴点(ペアでない)と該優先特徴点の重みの値、及び、非優先特徴点(ペアでない)と該非優先特徴点の重みの値に基づいて、第1の画像を変形させて第2の画像に位置合わせする処理を行う。具体的には、まず、上述の本変形例のステップS501の処理と同様の方法により、各特徴点に対して、非類似度関数を算出する。そして、各特徴点の非類似度関数に対して各特徴点の重みを掛け合わせて、特徴点の数の分だけ和を取った数式を項θ’として定義する。そして、この項θ’を、本変形例における位置合わせの評価関数E’と定義する。この評価関数E’を最小化させることにより、夫々の特徴点の重みを考慮した上で、一方の画像の特徴点が他方の画像上の類似する領域と極力一致するように、二つの画像を位置合わせすることができる。これにより、特徴点が第1の画像と第2の画像の間で1対1に対応付いた点ではなく、何れか一方の画像のみで取得されるものであっても、作業者が確実に一致させたい特徴点を確実に一致させ、かつ全体的に変形の不自然さのない適切な位置合わせ結果を得る事ができる。なお、画像間で対応付けられた特徴点と対応付けられていない特徴点は混在して(併用して)用いてもよい。
例えば、抽出特徴点については対応付け処理まで行う(抽出特徴点ペアとして扱う)ようにしてもよいし、反対に、入力特徴点については対応点の指定まで行う(入力特徴点ペアとして扱う)ようにしてもよい。また、抽出特徴点や入力特徴点の夫々の中に、対応付けられた特徴点と対応付けられていない特徴点が混在するようにしてもよい。これらの場合には、夫々の状態(対応付いているか否か)に応じて定義した評価項の和によって評価関数を定義すればよい。
<第2実施形態:対応付けの信頼度で非優先特徴点の重み付け>
第1実施形態では、非優先特徴点の夫々について、他の特徴点との整合度に基づく評価値を用いて位置合わせの重みを設定する構成を説明したが、重みを設定するための評価値はこれに限らない。
第2実施形態では、非優先特徴点の夫々について、その特徴点の対応付けの信頼度を評価値として位置合わせの重み付けを行う構成を説明する。即ち、非優先特徴点の対応付けの信頼度が低ければ、その非優先特徴点の重みを小さく設定する。そして、非優先特徴点の対応付けの信頼度が高ければ、その非優先特徴点の重みを大きく設定する。これにより、誤対応した特徴点が存在する場合でも、作業者が一致させたい特徴点について確実に一致させ、かつ不自然な対応がない、適切な位置合わせ結果を得ることができる。以下、第2実施形態に係る画像処理装置について、第1実施形態との相違部分についてのみ説明する。
図8は、第2実施形態に係る画像処理装置800を有する画像処理システムの構成例を示す図である。図8において、画像処理装置800は、図1の画像処理装置100における整合度算出部108の代わりに信頼度算出部808が含まれている点以外は、画像処理装置100と同じ構成であるため、同じ構成に関しては説明を省略する。
信頼度算出部808は、非優先特徴点の夫々の点に関する第1の画像と第2の画像との間の対応付けの信頼度を、夫々の非優先特徴点の評価値として算出することが可能である。すなわち、信頼度算出部808は、非優先特徴点の夫々の点に関する第1の画像と第2の画像との間の画像類似度に基づいて、非優先特徴点の対応付けの信頼度を、評価値として算出する。信頼度算出部808は、例えば、非優先特徴点の夫々の点に関して、その非優先特徴点の近傍の画像類似度に基づいた、対応付けの信頼度を算出する。そして、算出した信頼度を重み設定部110へと出力する。重み設定部110は、信頼度に基づき非優先特徴点に対する重みを設定する。
図9は、画像処理装置800が行う全体の処理手順を示すフローチャートである。なお、図9のステップS900からステップS905、ステップS908からステップS910の処理は、第1実施形態における図2のステップS200からステップS205、ステップS208からステップS210までの処理と同様であるため、説明を省略する。
(夫々の非優先特徴点の信頼度を算出)
ステップS906において、信頼度算出部808は、非優先特徴点ペアの夫々の点について、その点近傍の画像の類似度に基づいて、対応付けの信頼度を算出する。そして、信頼度算出部808は、算出した信頼度を重み設定部110に送信する。以下、図10のフローチャートを用いて、ステップS906における信頼度の算出処理の詳細について説明する。なお、図10のステップS1000、およびステップS1004の処理は、第1実施形態で説明した図5におけるステップS500、およびステップS504の処理と同様であるため、説明を省略する。
(S1001)
ステップS1001において、信頼度算出部808は、注目特徴点ペアにおいて、夫々の画像上の注目特徴点の近傍の画像の類似度に基づいて、注目特徴点の対応付けの信頼度を算出する。ここで、対応付けの信頼度とは、第1の画像における特徴点と第2の画像における特徴点との対応付けにおいて、どの程度信頼できる対応付けがなされているかを定量化したものである。本実施形態では、例えば、第1の画像における注目特徴点の近傍の画像と、対応する第2の画像における注目特徴点の近傍の画像との類似度が高ければ、注目特徴点付近の解剖学的特徴がより一致すると解釈し、信頼度は高いと評価する。以下に具体的な処理を説明する。
まず、信頼度算出部808は、第1の画像上の注目特徴点の近傍の画像を関心領域1として取得する。同様に、信頼度算出部808は、第2の画像上の注目特徴点の近傍の画像を関心領域2として取得する。関心領域の設定方法は、例えば、注目特徴点を中心に所定の半径(例えば、5mm)の球状の領域を設定する。その他にも、注目特徴点を中心に、所定の長さの矩形領域(例えば、直方体の領域)を設定してもよい。次に、信頼度算出部808は、関心領域1と関心領域2との間の画像類似度を計算する。信頼度算出部808は、画像類似度の取得手法として、第1実施形態のステップS201で用いた画像類似度を計算する処理手法と同様の方法を用いる。信頼度算出部808は、例えば、Sum of Squared Difference(SSD)やSum of Absolute Difference(SAD)、相互相関係数などの公知の手法を用いることが可能である。以下の説明では、画像の類似度をSSDにより算出する例を説明するが、他の手法においても同様に本実施形態の処理を適用することは可能である。以下、関心領域の類似度としてSSDの値をRSSDと記述する。RSSDの値が小さいほど画像が類似することを意味する。すなわち、RSSDの値が小さいほど画像類似度は高くなることを意味する。
(S1002)
ステップS1002において、信頼度算出部808は、第1の画像と第2の画像との間の注目特徴点ペアの近傍の画像類似度に基づき、信頼度Sを算出する。ここで、信頼度算出部808は、以下の数式を用いて画像類似度RSSDを0から1の範囲で正規化した値として信頼度Sを算出する。
S=1−RSSD/(1+RSSD)・・・(5)
これにより、画像類似度RSSDが0の場合(この場合、2つの画像が一致することを意味する)、信頼度算出部808は、信頼度Sとして1を取得する。逆に、画像類似度RSSDが限りなく大きい場合(この場合、2画像が全く一致しないことを意味する)、信頼度算出部808は、信頼度Sとして限りなく0に近い値を取得することになる。
なお、本実施形態では、画像類似度の算出手法として、SSDを用いた信頼度の算出方法を説明したが、その他の画像類似度の算出手法を用いる場合であっても、算出手法により求められた値を所定の範囲に正規化する方法であれば、どのような算出方法でもよい。以上のようにして、信頼度算出部808は、夫々の非優先特徴点ペアについて、対応付けの信頼度Sを算出することができる。また、信頼度の算出方法は、輝度情報を直接利用した画像類似度に基づくものに限られるものではない。例えば、特徴点の周辺の画像を解析して得られる様々な特徴量(輝度・形状・テクスチャなど)の類似度に基づいて信頼度を算出するようにしてもよい。
(S907)
説明を図9に戻し、ステップS907において、重み設定部110は、全ての特徴点ペア(優先特徴点ペア、非優先特徴点ペア)に対して、位置合わせのための重みを設定する。そして、重み設定部110は、設定した重みの値を位置合わせ部112と表示制御部114に送信する。重み設定部110は、優先特徴点ペアの重みについて、第1実施形態で説明した設定方法と同様の方法により重みの設定を行う。具体的な設定方法は、第1実施形態のステップS207と同じであるため説明を省略する。
非優先特徴点ペアについて、重み設定部110は、図10のステップS1002において、信頼度算出部808により算出された夫々の非優先特徴点ペアの信頼度に基づいて、位置合わせのための重みを設定する。非優先特徴点ペアの重みの設定方法を説明するために、図2のステップS207と同様に、非優先特徴点ペアをPn,j(0≦j≦N,Nは非優先特徴点ペアの個数)とする。また、非優先特徴点ペアPn,jに対応する信頼度をSとする。このとき、通常、位置合わせのための重みは0以上であるのに対し、信頼度Sの値の範囲は0<M≦1であるため、信頼度Sをそのまま重みwn,jとして設定する(wn,j=S)。以上によって、画像処理装置800の処理が実施される。
本実施形態によれば、作業者が確実に一致させたい特徴点(優先特徴点)について確実に一致させることが可能になる。そして、優先特徴点以外の非優先特徴点については、対応付けの信頼度に応じて位置合わせを行うことが可能になる。これにより、誤対応した特徴点が存在する場合でも、作業者が一致させたい特徴点について確実に一致させ、かつ不自然な対応がない、適切な位置合わせ結果を得ることができる。
<第3実施形態:多段階で優先度を入力>
第1実施形態および第2実施形態では、特徴点を優先特徴点と非優先特徴点の2種類に分類して特徴点の入力を行ったが、作業者が特徴点を入力する際の分類方法はこれに限らない。
第3実施形態では、作業者が特徴点を入力する際に、確実に一致させたい特徴点の優先度を多段階に分類して入力できるようにする構成を説明する。これにより、入力された特徴点に対し、作業者が意図する、位置を一致させる度合に応じた優先度を特徴点の位置合わせに反映させることができ、より作業者の望む位置合わせ結果を取得することができる。以下、第3実施形態に係る画像処理装置について、第1実施形態との相違部分についてのみ説明する。
第3実施形態に係る画像処理装置を含む画像処理システムの構成は図1と同様である。また、第3実施形態に係る画像処理装置が行う全体の処理手順は図2と同様である。ただし、以下に示すように、各ステップの処理内容の一部は第1実施形態とは異なっている。なお、ステップS200およびステップS202、ステップS205、ステップS206、およびステップS208からステップS210の処理は、第1実施形態と同様であるため、説明を省略する。
(優先度の取得)
ステップS203において、画像処理装置100の特徴点取得部106は、作業者の指示に従って、ステップS202で取得した入力特徴点(入力特徴点ペア)に設定する優先度を取得する。具体的には、以下のようにして行う。
図14は、作業者が入力特徴点に対して優先度を設定するための表示部190の表示画面300を例示する図である。表示制御部114は、特徴点を一致させる度合いを示す優先度を数値情報により設定可能な優先度設定部を表示部190に表示させる。すなわち、表示制御部114は、ステップS202で入力特徴点ペアが取得された後に、その入力特徴点ペアに対して優先順位を示す優先度を数値情報により設定可能な優先度設定部1405を表示部190上に表示させる。
優先度設定部1405は、特徴点を一致させる優先順位を示す優先度を、数値情報として、多段階(例えば、「1〜5」の5段階)に設定できる。優先度設定部1405には、優先順位を示す優先度を「1〜5」で示すように多段階に設定可能な設定スケールを有する。この設定スケールに設定スライダを合わせて決定ボタンを作業者が押下すると、入力特徴点ペアに対して優先順位を示す優先度を設定することができる。特徴点取得部106は、優先度設定部1405の設定に応じて、優先特徴点および非優先特徴点の設定を行うことが可能である。
ここで設定される優先度の値は、数字が大きいほど特徴点を一致させる度合い(優先度)が高いことを意味する。例えば、作業者が優先度設定部1405の設定スケール上の「5」と表示された箇所に設定用スライダを合わせた状態で、優先度設定部1405の決定ボタンを押下した場合、画像処理装置100の特徴点取得部106は、入力特徴点ペアに対して優先度:5を設定する。また、作業者が、優先度設定部1405の設定スケール上の「1」と表示された箇所に設定用スライダを合わせた状態で、優先度設定部1405の決定ボタンを押下した場合、画像処理装置100の特徴点取得部106は、入力特徴点ペアに対して優先度:1を設定する。
設定スケール上の他の数字に設定用スライダを合わせた場合も同様に、設定スケール上に合わされた設定用スライダの位置に応じて、画像処理装置100の特徴点取得部106は、入力特徴点ペアに対して優先度を設定することができる。尚、作業者に優先度を選択させるための表示は、図14の表示例に限定されず、優先度を多段階に設定できるものであれば、どのような方式であってもよい。例えば、表示制御部114は、表示画面300内の領域に、優先度を選択させる優先度設定部として、「1〜5」の5種類のラジオボタンを表示させることも可能である。優先度の設定において、作業者は、その入力特徴点に対してどの程度の確信を持っているか、という観点で、優先度を選択するものとする。優先度:5を設定する入力特徴点としては、例えば、被検体内の血管の分岐部など、作業者が3次元位置を特定でき、画像間で同定可能な特徴点が挙げられる。また、優先度:1を設定する入力特徴点としては、例えば、作業者の判断において、明確な3次元位置の対応が特定しにくい曖昧さを含んでいる特徴点が挙げられる。
(優先特徴点・非優先特徴点の確定)
ステップS204において、画像処理装置100の特徴点取得部106は、優先度設定部1405の設定に応じて、優先特徴点および非優先特徴点の設定を行う。例えば、特徴点取得部106は、入力特徴点ペアに設定された優先度の情報と、抽出特徴点ペアの情報に基づき、優先特徴点ペアと非優先特徴点ペアを確定する。特徴点取得部106は、例えば、優先度:5が設定された入力特徴点ペアを、優先特徴点ペアに確定する。そして、特徴点取得部106は、優先度:1から優先度:4までが設定された入力特徴点ペアを、非優先特徴点ペアに確定する。
このとき、特徴点取得部106は、非優先特徴点ペアに対して、入力特徴点ペアに設定された優先度に応じた優先係数を設定する。本実施形態では、特徴点取得部106は、例えば、優先度が「1」、「2」、「3」、「4」の順に、それぞれ優先係数を「0.25」、「0.5」、「0.75」、「1.0」と設定する。なお、優先度が設定されていない抽出特徴点ペアから生成された非優先特徴点ペアに対して、特徴点取得部106は、例えば、優先係数を一律に「1.0」と設定する。
なお、優先係数の設定は例示的なものであり、優先係数の与え方はこれに限定されるものではない。例えば、優先度に応じて、優先係数の最小値が「1.0」となるように値を設定してもよい。また、抽出特徴点ペアに対しては、例えば優先係数を一律に「0.5」と設定しても良い。また、特徴点取得部106は、特徴点ペア間の画像類似度に応じて、優先係数を設定することも可能である。この場合、優先係数は第2実施形態における対応付けの信頼度と同じことを意味するので、具体的な設定方法の説明は省略する。そして、特徴点取得部106は、設定した優先係数の情報を不図示の記憶部に記憶する。
(特徴点ペアの重みを設定)
ステップS207において、重み設定部110は、夫々の非優先特徴点ペアの整合度と、優先係数に基づいて、全ての特徴点ペア(優先特徴点ペア、非優先特徴点ペア)に対して、位置合わせのための重みを設定する。重み設定部110は、優先特徴点ペアの重みに関して、第1実施形態と同様の方法で重みを設定する。設定方法は第1実施形態と同様であるため、重複した説明は省略する。
次に、重み設定部110は、非優先特徴点ペアの重みを、夫々の非優先特徴点ペアの整合度と、設定された優先係数とに基づいて設定する。ここで、夫々の非優先特徴点ペアと、それに対応する整合度、重みを、第1実施形態と同様に、Pn,j、M、wn,jとする。さらに、非優先特徴点ペアPn,jに対応する優先係数をcとする。このとき、重み設定部110は、重みは以下の数式によって算出する。
n,j=c・(0.5・M+0.5)・・・(6)
重み設定部110は、整合度(M)に対して、さらに優先係数(c)を掛け合わせた値に基づいて重みを設定できる。本実施形態によれば、作業者が、その入力特徴点に対してどの程度の確信を持っているか、という観点(確信度)を反映した位置合わせの重みを設定できる。
また、上記の処理の例において、特徴点取得部106は、優先度:5のときのみ優先特徴点ペアに分類するため、優先特徴点ペアの中では段階分けはされなかった。しかし、優先特徴点ペアと非優先特徴点ペアとを分類する際の優先度の基準(基準優先度)は、上記の処理の例に限定されるものではない。例えば、優先度:4以上であるか、優先度:4未満であるかを、優先特徴点ペアと非優先特徴点ペアとを分類する基準優先度としてもよい。この場合、特徴点取得部106は、設定されている優先度が「4」、「5」の2種類の特徴点ペアを優先特徴点ペアとして分類する。このとき、優先度が「5」の優先特徴点ペアは、画像間で最も優先して一致させる特徴点ペアである。このため、第1実施形態におけるステップS208のように、位置合わせ部112は、Free−form deformation(FFD)等を用いた特徴点の重み付けによる位置合わせの後に、Radial Basis Function(RBF)による位置合わせを施し、それらの特徴点ペアを完全に一致させる。
一方、優先度が「4」の優先特徴点ペアは、優先度が「5」の優先特徴点ペアよりも一致させる優先度が低いため、位置合わせ部112は、RBFの処理を施さないようにする。これにより、位置合わせ部112は、優先特徴点ペアの中で、一致させる程度を段階分けすることができる。なお、優先度の付与は作業者が明示的に行わなくてもよい。例えば、作業者は入力特徴点に部位名(例えば、乳頭や血管分岐等)を入力するようにして、部位名毎に、その部位の重要度等に基づいて予め定めた(ルックアップテーブル等で保持する)優先度を付与するようにしてもよい。また、同じ優先特徴点であっても、より優先する特徴点(RBFの処理を施す特徴点)とそうでない特徴点を、部位名の入力の有無や、入力された部位名に応じて区別するようにしてもよい。
本実施形態によれば、作業者が、その入力特徴点に対してどの程度の確信を持っているか、という観点(確信度)を反映した位置合わせの重みに基づいて位置合わせすることができる。従って、本実施形態によれば、作業者の確信度に応じた度合いで所望の特徴点の位置を一致させることができるため、より作業者の望む位置合わせ結果を取得することができる。
<第4実施形態:優先特徴点に与える影響度で非優先特徴点の重み付け>
第1実施形態では、非優先特徴点の夫々について、他の特徴点との整合度のみを評価値として位置合わせの重みを設定したが、重みを設定するための評価値はこれに限らない。第4実施形態では、非優先特徴点の夫々について、他の特徴点との整合度と、その非優先特徴点が優先特徴点に与える影響度とを考慮した評価値により位置合わせの重み付けを行う構成を説明する。
より具体的には、本実施形態では、整合度に基づく重みを用いて変形位置合わせを一度行った後に、更に作業者によって優先特徴点が追加された場合を想定する。このとき、既に入力されている非優先特徴点の夫々の点について、新たに追加された優先特徴点に対して与える影響度が大きければ、非優先特徴点の重みを0に設定する。これにより、影響度の大きい非優先特徴点の影響を低減させることができる。また、非優先特徴点の夫々の点について、新たに追加された優先特徴点に対して与える影響度が小さければ前回の位置合わせにおいて設定された適切な重みに基づいて位置合わせする。以下、第4実施形態に係る画像処理装置1100について、第1実施形態との相違部分についてのみ説明する。
図11は、第4実施形態に係る画像処理装置1100を有する画像処理システムの構成例を表す図である。図11において、画像処理装置1100は、図1の画像処理装置100に対して更に影響度算出部1109が含まれている。画像処理装置1100の構成において、影響度算出部1109を除く構成については、第1実施形態で説明した画像処理装置100と同じ構成であるため、同じ構成に関しては重複した説明を省略する。
影響度算出部1109は、優先特徴点と非優先特徴点との相対的な位置関係により優先特徴点に対して非優先特徴点の夫々が与える影響度を、夫々の非優先特徴点の評価値として算出することが可能である。例えば、影響度算出部1109は、非優先特徴点の夫々の点に関して、その非優先特徴点が新たに追加された優先特徴点に対して与える影響度を算出する。そして、算出した影響度を重み設定部110へと出力する。
図12は、画像処理装置1100が行う全体の処理手順を示すフローチャートである。なお、図12におけるステップS1200からS1203、S1205、S1207、ステップS1211からS1213の処理は、第1実施形態における図2のステップS200からS203、S205、S206、ステップS208からS210までの処理と同様であるため、説明を省略する。
(優先特徴点ペア・非優先特徴点ペアの確定)
ステップS1204において、特徴点取得部106は、入力特徴点ペアに設定された優先ラベルまたは非優先ラベルの情報に基づき、優先特徴点ペアと非優先特徴点ペアを確定する。具体的な処理は第1実施形態のステップS204と同様であるため、説明を省略する。
次に、本ステップにおいて、特徴点取得部106は、確定した優先特徴点ペアと非優先特徴点ペアを不図示の記憶部に記憶する。本実施形態において、記憶された優先特徴点ペアと非優先特徴点ペアの情報は、ステップS1202からS1213の位置合わせのループが複数回実行された場合でも、上書きされずに新たに別の領域に記憶され、記憶部に保持されるものとする。
(位置合わせ未実行であるか否かの判定)
ステップS1206において、特徴点取得部106は、位置合わせが未実行であるか否かを判定し、位置合わせが未実行であると判定した場合(S1206−Yes)、特徴点取得部106は、特徴点ペアの情報を信頼度算出部808へと出力し、処理をステップS1207へと進める。
一方、ステップS1206の判定で、特徴点取得部106は位置合わせが実行済みであると判定した場合(S1206−No)、特徴点取得部106は特徴点ペアの情報を影響度算出部1109へと出力し、処理をステップS1208へと進める。
ステップS1206の判定処理において、特徴点取得部106は、位置合わせが実行済みであるか否かを表す判定情報を参照して、位置合わせが未実行であるか否かを判定する。すなわち、特徴点取得部106は、不図示の記憶部に記憶された位置合わせが実行済みであるか否かを表す判定情報(位置合わせフラグ)の値を参照し、判定情報(位置合わせフラグ)の値が「false」の場合、特徴点取得部106は位置合わせが未実行であると判定する。判定情報(位置合わせフラグ)の値が「true」の場合、特徴点取得部106は位置合わせが実行済みと判定する。なお、判定情報(位置合わせフラグ)の値は、初期値が「false」の状態で設定されており、ステップS1211において位置合わせ部112が位置合わせを実行した際に、位置合わせ部112は、初期値「false」を「true」に設定変更する。位置合わせが行われている場合に、影響度算出部1109は、位置合わせ後に新たに追加された優先特徴点に対して非優先特徴点の夫々が与える影響度を算出する。
(追加された優先特徴点ペアの特定)
ステップS1208において、特徴点取得部106は、新たに追加された優先特徴点ペアを特定する。ここで、新たに追加された優先特徴点ペアとは、少なくとも1回変形位置合わせ処理が行われた状態において、作業者によって新たに入力された優先特徴点ペアのことを意味する。具体的には、特徴点取得部106は、前回の位置合わせのループにおけるステップS1204で不図示の記憶部に記憶された優先特徴点ペアの情報と、今回のステップS1204で不図示の記憶部に記憶された優先特徴点ペアの情報とを取得する。そして、今回の優先特徴点ペアの情報と前回の優先特徴点ペアの情報との差分から、特徴点取得部106は、新たに追加された優先特徴点ペア(追加優先特徴点ペアと呼ぶ)を特定する。このとき特定された追加優先特徴点ペアは、単数であっても複数であっても追加優先特徴点ペアと呼ぶものとする。
(夫々の非優先特徴点ペアの影響度を算出)
ステップS1209において、影響度算出部1109は、非優先特徴点ペアの夫々の点について、ステップS1208で特定された追加優先特徴点ペアに対して与える影響度を算出する。すなわち、特徴点取得部106は、位置合わせが実行済みであるか否かを表す判定情報を参照して、位置合わせが未実行であるか否かを判定し、位置合わせが行われている場合に、影響度算出部1109は、位置合わせ後に新たに追加された優先特徴点に対して非優先特徴点の夫々が与える影響度を算出する。そして、影響度算出部1109は、算出した影響度を重み設定部110に送信する。
以下、図13のフローチャートを用いて、夫々の非優先特徴点ペアの影響度を算出するステップS1209の算出処理の詳細について説明する。なお、ステップS1300、およびS1304の処理は、第1実施形態におけるステップS500、およびステップS504の処理と同様であるため、重複した説明を省略する。
(S1301)
ステップS1301において、影響度算出部1109は、注目特徴点ペアと追加優先特徴点ペアとの距離を算出する。具体的な処理を以下に説明する。まず、注目特徴点ペアをPとしたとき、第1の画像および第2の画像における注目特徴点ペアPの座標をそれぞれx1,mおよびx2,mとする。次に、追加優先特徴点ペアをPa,k(0≦k≦N,Nは追加優先特徴点ペアの個数)としたとき、第1の画像および第2の画像における追加優先特徴点ペアPa,kの座標をそれぞれx1,kおよびx2,kとする。このとき、追加優先特徴点ペアPa,kに関する、注目特徴点ペアPとの距離は、第1の画像上および第2の画像上のそれぞれにおいて以下の数式で表される。
1,k=||x1,m−x1,k||・・・(7)
2,k=||x2,m−x2,k||・・・(8)
(S1302)
ステップS1302において、影響度算出部1109は、注目特徴点ペアが追加優先特徴点ペアに与える影響度を算出する。具体的な処理を以下に説明する。追加優先特徴点ペアPa,kと注目特徴点ペアPとの距離に関して、以下の数式で表されるように、第1の画像と第2の画像のそれぞれにおける距離の平均値dを算出する。
=(d1,k+d2,k)/2・・・(9)
そして、影響度算出部1109は、距離の平均値dに基づき、注目特徴点ペアPが追加優先特徴点ペアPa,kに与える影響度Aを以下の数式を用いて算出する。
=1−d/(1+d)・・・(10)
上記の式において、距離の平均値dが「0」の場合、影響度算出部1109は、影響度Aとして「1」を取得する。距離の平均値dが限りなく大きい場合、影響度算出部1109により取得される影響度Aは限りなく「0」に近い値となる。なお、上記の説明では、影響度算出部1109は、第1の画像と第2の画像のそれぞれにおける距離の平均値に基づいて影響度を算出したが、影響度の算出方法はこれに限らない。例えば、影響度算出部1109は、第1の画像上の距離または第2の画像上の距離の何れか一方に基づいて影響度を算出することが可能である。
以上のようにして、影響度算出部1109は、夫々の非優先特徴点ペアについて、追加優先特徴点ペアに与える影響度を算出することができる。また、影響度は、単純に特徴点の距離に基づいて算出される値であるため、影響度算出部1109は、小さい計算コストで影響度を取得することができる。
(特徴点ペアの重みを設定)
ステップS1210において、重み設定部110は、夫々の非優先特徴点ペアの整合度または影響度に基づいて、全ての特徴点ペアの位置合わせのための重みを設定する。まず、ステップS1207から本ステップ(S1210)へと処理が移ってきた場合を説明する。この場合、重み設定部110は、優先特徴点ペアの重みwp,iおよび非優先特徴点ペアの重みwn,jを、第1実施形態のステップS207(図2)と同様の設定方法により設定する。具体的な設定方法は、第1実施形態のステップS207と同じであるため説明を省略する。重み設定部110は、設定した、優先特徴点ペアの重みwp,iおよび非優先特徴点ペアの重みwn,jを不図示の記憶部に記憶する。そして、記憶された重みの情報は、ステップS1202からS1213の位置合わせのループが複数回実行された場合でも、上書きされずに新たに別の領域に記憶されるものとする。
次に、ステップS1209から本ステップ(S1210)へと処理が移ってきた場合を説明する。この場合、優先特徴点ペアの重みwp,iの設定方法は、第1実施形態のステップS207と同じであるため説明を省略する。
次に、非優先特徴点の重みwn,jの設定方法を説明する。ステップS207(図2)と同様に、非優先特徴点ペアをPn,j(0≦j≦N,Nは非優先特徴点ペアの個数)とする。
また、非優先特徴点ペアPn,jが追加優先特徴点ペアPa,kに与える影響度をAj,kとする。ここで、非優先特徴点について、重み設定部110は、影響度と閾値との比較により、非優先特徴点の重みを設定する。また、非優先特徴点ペアについて、重み設定部110は、影響度と閾値との比較により、非優先特徴点ペアの重みを設定する。
非優先特徴点について、重み設定部110は、影響度が閾値以上となる場合、非優先特徴点の重みをゼロに設定する。また、非優先特徴点について、重み設定部110は、影響度が閾値未満となる場合、位置合わせにおいて使用された重みを非優先特徴点の重みとして設定する。
また、非優先特徴点ペアについて、重み設定部110は、影響度が閾値以上となる場合、非優先特徴点ペアの重みをゼロに設定する。また、重み設定部110は、影響度が閾値未満となる場合、位置合わせにおいて使用された重みを非優先特徴点ペアの重みとして設定する。例えば、全ての追加優先特徴点ペアについて、影響度Aj,kが所定の閾値(例えば、0.8)以上となる場合に、重み設定部110は、非優先特徴点ペアPn,jの重みwn,jを「0」に設定する。これにより、夫々の非優先特徴点ペアPn,jに関して、一つでも影響度Aj,kが閾値を上回るような追加優先特徴点が存在する場合、重みwn,jは「0」となる。
また、上記の処理で「0」に設定されなかった、非優先特徴点ペアの重みwn,jをwn,j,yetと表記すると、wn,j,yetに関しては以下のような方法で値を設定する。
重み設定部110は、前回の位置合わせのループにおけるステップS1210で不図示の記憶部に記憶された非優先特徴点ペアの重みの情報を取得する。この重みをwn,j,oldと表す。そして、重みwn,j,yetの値を、それに対応するwn,j,oldの値に設定する。重み設定部110は、追加優先特徴点ペアに一定距離以上近く、影響度の大きい非優先特徴点ペアについては、その影響度を低減するように重みを「0」に設定し、かつ、それ以外の非優先特徴点ペアについては、前回の位置合わせ時に算出した重み(wn,j,old)を設定する。位置合わせ部112は、以上のように重み設定部110により設定された重みに基づいて位置合わせを行うことができる。
なお、本実施形態では、影響度Aj,kが所定の閾値以上となる場合、重み設定部110は、非優先特徴点の重みwn,jをゼロ(「0」)に設定し、影響度Aj,kが所定の閾値未満となる場合、重み設定部110は、前回の位置合わせ時に使用した重みを設定する構成について説明した。しかしながら、非優先特徴点の重みwn,jの設定方法はこれに限られない。例えば、重み設定部110は、影響度のAj,kの大きさに応じて、全ての非優先特徴点ペアの重みwn,jを設定することも可能である。この場合、例えば、全ての非優先特徴点ペアの重みwn,jに関して、重み設定部110は、前回の位置合わせ時の重みwn,j,oldに対して影響度Aj,kに基づく値を掛け合わせて、全ての非優先特徴点ペアの重みwn,jを算出することが可能である。
本実施形態によれば、優先特徴点が追加された場合に、その優先特徴点に大きく影響を与える非優先特徴点については、その影響度を低減するように重みを設定し、かつ、それ以外の非優先特徴点については、前回の位置合わせにおいて設定された適切な重みを設定して位置合わせをすることが可能になる。
本実施形態によれば、作業者が一致させたい特徴点について確実に一致させ、かつ、その周囲において変形の不自然さのない、適切な位置合わせ結果を得ることができる。更に、第1実施形態のように優先特徴点が追加されるたびに、整合度を計算するために変位場を算出するという大きな計算コストをかけることなく、小さい計算コストで簡便に変形位置合わせ結果を得ることができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 画像処理装置、102 データ取得部、104 特徴点抽出部、
106 特徴点取得部、108 整合度算出部、110 重み設定部、
112 位置合わせ部、114 表示制御部、116 終了判定部

Claims (19)

  1. 第1の画像と第2の画像の少なくともいずれか一方から取得した特徴点のうち、優先して位置合わせする優先特徴点と、前記優先特徴点よりも低い優先順位で位置合わせする非優先特徴点とを取得する特徴点取得部と、
    前記非優先特徴点の特性を評価する評価値に基づいて該非優先特徴点の重みを設定するとともに、該非優先特徴点の重みよりも大きい値の前記優先特徴点の重みを設定する重み設定部と、
    前記優先特徴点と前記優先特徴点の重み、および、前記非優先特徴点と前記非優先特徴点の重みに基づいて、前記第1の画像と前記第2の画像との位置合わせを行う位置合わせ部と、
    を有することを特徴とする画像処理装置。
  2. 前記優先特徴点および前記非優先特徴点は夫々、前記第1の画像と前記第2の画像の間で1対1に対応する特徴点であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記非優先特徴点の夫々が、前記優先特徴点および他の非優先特徴点を含む他の特徴点によって定義される前記第1の画像と前記第2の画像との間の変形情報に整合する度合いを示す整合度を、前記夫々の非優先特徴点の前記評価値として算出する整合度算出部を更に有することを特徴とする請求項1または請求項2に記載の画像処理装置。
  4. 前記整合度算出部は、前記優先特徴点および前記非優先特徴点の位置に基づいて生成される変位場の情報に基づき、前記整合度を算出することを特徴とする請求項3に記載の画像処理装置。
  5. 前記整合度算出部は、
    前記優先特徴点と、注目する非優先特徴点を除いた非優先特徴点の位置に基づいて、前記第1の画像と前記第2の画像との間の第1の変位場と、
    前記優先特徴点と、前記注目する非優先特徴点を含めた非優先特徴点の位置に基づいて、前記第1の画像と前記第2の画像との間の第2の変位場と、を取得し、
    前記整合度算出部は、前記第1の変位場と前記第2の変位場との差異に基づいて、前記注目する非優先特徴点の前記整合度を算出することを特徴とする請求項4に記載の画像処理装置。
  6. 前記非優先特徴点の夫々の点に関する前記第1の画像と前記第2の画像との間の対応付けの信頼度を、前記夫々の非優先特徴点の前記評価値として算出する信頼度算出部を更に有することを特徴とする請求項2に記載の画像処理装置。
  7. 前記優先特徴点と前記非優先特徴点との相対的な位置関係により前記優先特徴点に対して前記非優先特徴点の夫々が与える影響度を、前記夫々の非優先特徴点の前記評価値として算出する影響度算出部を更に有することを特徴とする請求項1に記載の画像処理装置。
  8. 前記特徴点取得部は、位置合わせが実行済みであるか否かを表す判定情報を参照して、前記位置合わせが未実行であるか否かを判定し、
    前記位置合わせが行われている場合に、前記影響度算出部は、前記位置合わせ後に新たに追加された優先特徴点に対して前記非優先特徴点の夫々が与える影響度を算出することを特徴とする請求項7に記載の画像処理装置。
  9. 前記重み設定部は、前記影響度と閾値との比較により、前記非優先特徴点の重みを設定することを特徴とする請求項7または請求項8に記載の画像処理装置。
  10. 前記重み設定部は、
    前記影響度が閾値以上となる場合、前記非優先特徴点の重みをゼロに設定し、
    前記影響度が閾値未満となる場合、前記位置合わせにおいて使用された重みを前記非優先特徴点の重みとして設定することを特徴とする請求項9に記載の画像処理装置。
  11. 前記第1の画像および前記第2の画像を取得するデータ取得部と、
    前記第1の画像および前記第2の画像を画像処理して、前記第1の画像および前記第2の画像における特徴点を抽出する特徴点抽出部と、
    を更に有し、
    前記特徴点取得部は、前記特徴点抽出部が抽出した前記特徴点を、前記非優先特徴点として設定することを特徴とする請求項1乃至請求項10のいずれか1項に記載の画像処理装置。
  12. 前記位置合わせ部の位置合わせ結果を表示部に表示させる表示制御部と、
    前記表示部に表示された画像において、特徴点を指定する指定部と、
    を更に有し、
    前記表示制御部は、前記位置合わせ結果として、前記表示部に第1の画像の断面画像と第2の画像の断面画像とを並べて表示させ、
    前記指定部は、前記第1の画像の断面画像および前記第2の画像の断面画像において、対応する特徴点の組を入力特徴点として指定し、
    前記表示制御部は、前記入力特徴点を優先特徴点として設定するか、非優先特徴点として設定するかを選択するための選択入力部を前記表示部に表示させることを特徴とする請求項1乃至請求項11のいずれか1項に記載の画像処理装置。
  13. 前記特徴点取得部は、前記選択入力部の選択に応じて、前記優先特徴点および前記非優先特徴点の設定を行うことを特徴とする請求項12に記載の画像処理装置。
  14. 前記表示制御部は、前記第1の画像の断面画像と前記第2の画像の断面画像において、前記優先特徴点と前記非優先特徴点とを異なる表示形式で前記表示部に表示させることを特徴とする請求項12に記載の画像処理装置。
  15. 前記表示制御部は、前記特徴点を一致させる優先順位を示す優先度を数値情報により設定可能な優先度設定部を前記表示部に表示させ、
    前記特徴点取得部は、前記優先度設定部の設定に応じて、前記優先特徴点および前記非優先特徴点の設定を行うことを特徴とする請求項12に記載の画像処理装置。
  16. 第1の画像と第2の画像の少なくともいずれか一方から特徴点を取得する取得部と、
    前記特徴点の夫々を、優先して位置合わせする優先特徴点として設定するか、該優先特徴点よりも低い優先順位で位置合わせする非優先特徴点として設定するかを選択するための選択入力部を表示部に表示させる表示制御部と、
    前記特徴点と、前記選択入力部で選択された情報を利用して、前記第1の画像と第2の画像とを位置合わせする位置合わせ部と、
    を備えることを特徴とする画像処理装置。
  17. 第1の画像と第2の画像の少なくともいずれか一方から取得した特徴点のうち、優先して位置合わせする優先特徴点と、前記優先特徴点よりも低い優先順位で位置合わせする非優先特徴点とを取得する取得工程と、
    前記非優先特徴点の特性を評価する評価値に基づいて該非優先特徴点の重みを設定するとともに、該非優先特徴点の重みよりも大きい値の前記優先特徴点の重みを設定する設定工程と、
    前記優先特徴点と前記優先特徴点の重み、および、前記非優先特徴点と前記非優先特徴点の重みに基づいて、前記第1の画像と前記第2の画像との位置合わせを行う位置合わせ工程と、
    を有することを特徴とする画像処理方法。
  18. 第1の画像と第2の画像の少なくともいずれか一方から特徴点を取得する取得工程と、
    前記特徴点の夫々を、優先して位置合わせする優先特徴点として設定するか、該優先特徴点よりも低い優先順位で位置合わせする非優先特徴点として設定するかを選択するための選択入力部を表示部に表示させる表示制御工程と、
    前記特徴点と、前記選択入力部で選択された情報を利用して、前記第1の画像と第2の画像とを位置合わせする位置合わせ工程と
    を有することを特徴とする画像処理方法。
  19. コンピュータを、請求項1乃至請求項16のいずれか1項に記載の画像処理装置の各部として機能させるためのプログラム。
JP2015026965A 2015-02-13 2015-02-13 画像処理装置、画像処理方法およびプログラム Active JP6541363B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015026965A JP6541363B2 (ja) 2015-02-13 2015-02-13 画像処理装置、画像処理方法およびプログラム
US15/016,453 US9953423B2 (en) 2015-02-13 2016-02-05 Image processing apparatus, image processing method, and storage medium for image processing based on priority

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015026965A JP6541363B2 (ja) 2015-02-13 2015-02-13 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2016147026A true JP2016147026A (ja) 2016-08-18
JP6541363B2 JP6541363B2 (ja) 2019-07-10

Family

ID=56622213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015026965A Active JP6541363B2 (ja) 2015-02-13 2015-02-13 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US9953423B2 (ja)
JP (1) JP6541363B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018011635A (ja) * 2016-07-19 2018-01-25 キヤノン株式会社 画像処理装置および画像処理方法
JP2018151689A (ja) * 2017-03-09 2018-09-27 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2019084349A (ja) * 2017-11-03 2019-06-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150131018A (ko) * 2013-03-15 2015-11-24 세노 메디컬 인스투르먼츠 인코포레이티드 진단 벡터 분류 지원을 위한 시스템 및 방법
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
JP6756406B2 (ja) * 2016-11-30 2020-09-16 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN107341824B (zh) * 2017-06-12 2020-07-28 西安电子科技大学 一种图像配准的综合评价指标生成方法
DE102017216854B4 (de) * 2017-09-22 2023-05-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bewerten von Korrespondenzen von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung
CN109949412B (zh) * 2019-03-26 2021-03-02 腾讯科技(深圳)有限公司 一种三维对象重建方法和装置
CN113990101B (zh) * 2021-11-19 2023-04-07 深圳市捷顺科技实业股份有限公司 一种禁停区域车辆检测方法及其系统和处理装置
CN115170566B (zh) * 2022-09-07 2022-12-13 湖南视比特机器人有限公司 一种工件的识别方法和识别装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226418B1 (en) * 1997-11-07 2001-05-01 Washington University Rapid convolution based large deformation image matching via landmark and volume imagery
JP2008043736A (ja) * 2006-07-18 2008-02-28 Toshiba Corp 医用画像処理装置及び医用画像処理方法
JP2008136850A (ja) * 2006-10-09 2008-06-19 Biosense Webster Inc 臓器外部の解剖学的特徴を利用した臓器の画像の対応付け
US7409108B2 (en) * 2003-09-22 2008-08-05 Siemens Medical Solutions Usa, Inc. Method and system for hybrid rigid registration of 2D/3D medical images
JP2009195306A (ja) * 2008-02-19 2009-09-03 Toshiba Corp 医用画像表示装置および画像表示方法
US20130245461A1 (en) * 2010-11-12 2013-09-19 Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts Visualization of Anatomical Data by Augmented Reality

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5159301B2 (ja) 2007-12-28 2013-03-06 株式会社東芝 医用画像表示装置および画像表示方法
JP5317716B2 (ja) 2009-01-14 2013-10-16 キヤノン株式会社 情報処理装置および情報処理方法
JP6482250B2 (ja) 2014-11-20 2019-03-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226418B1 (en) * 1997-11-07 2001-05-01 Washington University Rapid convolution based large deformation image matching via landmark and volume imagery
US7409108B2 (en) * 2003-09-22 2008-08-05 Siemens Medical Solutions Usa, Inc. Method and system for hybrid rigid registration of 2D/3D medical images
JP2008043736A (ja) * 2006-07-18 2008-02-28 Toshiba Corp 医用画像処理装置及び医用画像処理方法
JP2008136850A (ja) * 2006-10-09 2008-06-19 Biosense Webster Inc 臓器外部の解剖学的特徴を利用した臓器の画像の対応付け
JP2009195306A (ja) * 2008-02-19 2009-09-03 Toshiba Corp 医用画像表示装置および画像表示方法
US20130245461A1 (en) * 2010-11-12 2013-09-19 Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts Visualization of Anatomical Data by Augmented Reality

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018011635A (ja) * 2016-07-19 2018-01-25 キヤノン株式会社 画像処理装置および画像処理方法
JP2018151689A (ja) * 2017-03-09 2018-09-27 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2019084349A (ja) * 2017-11-03 2019-06-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム
JP7214434B2 (ja) 2017-11-03 2023-01-30 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム

Also Published As

Publication number Publication date
US20160239950A1 (en) 2016-08-18
JP6541363B2 (ja) 2019-07-10
US9953423B2 (en) 2018-04-24

Similar Documents

Publication Publication Date Title
JP6541363B2 (ja) 画像処理装置、画像処理方法およびプログラム
Mahmoud et al. ORBSLAM-based endoscope tracking and 3D reconstruction
US9119599B2 (en) Medical image display apparatus, medical image display method and non-transitory computer-readable recording medium having stored therein medical image display program
US8989843B2 (en) Methods and apparatus for estimating the position and orientation of an implant using a mobile device
US10692198B2 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer-readable storage medium for presenting three-dimensional images
CN107980148B (zh) 对图像进行融合以考虑运动补偿的系统和方法
US10395380B2 (en) Image processing apparatus, image processing method, and storage medium
JP6393106B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10603016B2 (en) Image processing apparatus, method of controlling the same, and non-transitory computer-readable storage medium
JP2008212396A (ja) 画像処理装置およびそのプログラム
JP2015085192A (ja) 医用画像データ処理装置、医用画像データ処理方法および医用画像データ処理プログラム
JP6293619B2 (ja) 画像処理方法および装置並びにプログラム
US8306354B2 (en) Image processing apparatus, method, and program
US11010899B2 (en) Image processing apparatus, control method of image processing apparatus, and storage medium
JP2005270635A (ja) 画像処理方法及び処理装置
JP5923067B2 (ja) 診断支援装置および診断支援方法並びに診断支援プログラム
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
JP2017111561A (ja) 情報処理装置、情報処理方法およびプログラム
JP6660741B2 (ja) 画像抽出装置、画像抽出方法
JP2015217039A (ja) 画像処理装置、方法およびプログラム
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
Ishihara et al. An image registration method with radial feature points sampling: application to follow-up CT scans of a solitary pulmonary nodule

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190611

R151 Written notification of patent or utility model registration

Ref document number: 6541363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151