JP2016002214A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2016002214A
JP2016002214A JP2014123815A JP2014123815A JP2016002214A JP 2016002214 A JP2016002214 A JP 2016002214A JP 2014123815 A JP2014123815 A JP 2014123815A JP 2014123815 A JP2014123815 A JP 2014123815A JP 2016002214 A JP2016002214 A JP 2016002214A
Authority
JP
Japan
Prior art keywords
image
deformation
condition
information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014123815A
Other languages
English (en)
Other versions
JP2016002214A5 (ja
JP6383189B2 (ja
Inventor
佐藤 清秀
Kiyohide Sato
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014123815A priority Critical patent/JP6383189B2/ja
Priority to CN201510312241.4A priority patent/CN105279731B/zh
Priority to US14/736,556 priority patent/US9576361B2/en
Publication of JP2016002214A publication Critical patent/JP2016002214A/ja
Publication of JP2016002214A5 publication Critical patent/JP2016002214A5/ja
Application granted granted Critical
Publication of JP6383189B2 publication Critical patent/JP6383189B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】画像間の位置合わせにおける推定誤差または信頼度を取得する。【解決手段】画像処理装置であって、第1の条件で第1の画像と第2の画像との間の変形を推定して第1の変形情報を取得する第1の推定部と、第1の条件とは異なる第2の条件で第1の画像と第2の画像との間の変形を推定して第2の変形情報を取得する第2の推定部と、第1の変形情報と第2の変形情報との差異に基づいて、画像上の点における変形の推定誤差または信頼度を取得する取得部とを備える。【選択図】 図1

Description

本発明は、画像間の位置合わせを行う画像処理装置、画像処理方法およびプログラムに関する。
医用画像(被検体内部の情報を表す3次元断層画像)を用いた画像診断において、医師は、複数の撮像装置(モダリティ)、異なる体位、時刻、撮像パラメータ等で撮像した画像を対比しながら診断を行う。しかし、画像間で被検体の姿勢や形状が異なるため、病変部の同定や対比を行うことが困難である。そこで、複数画像間の位置合わせを行うことが試みられている。これにより、一方の画像に姿勢の変換や変形を施して他方と同一にした画像を生成することが可能となる。
しかし、一般的な位置合わせの結果は誤差を含むのであり、必ずしも正確ではない。そのため、医師は、位置合わせの結果をどの程度信頼して良いのか判断できないという課題がある。
これに対して特許文献1は、位置合わせの誤差を推定する方法として、変形位置合わせの結果として推定した変形パラメータの不安定さ(解の曖昧さ)に基づく手法を開示している。特許文献1の手法では、不安定なパラメータを意図的に変動させた際の注目点の対応点の推定位置の変動範囲に基づいて、当該位置の誤差を推定している。
特開2013−198722号公報
しかしながら、特許文献1に記載の誤差の推定方法では、推定パラメータの不安定さ以外の要因を考慮できないという課題があった。
本発明は、上記の課題に鑑みてなされたものであり、複数画像間の位置合わせ(特に、補間に起因する位置合わせ)における推定誤差や信頼度を取得する方法を提供することを目的とする。
上記の目的を達成するための本発明の一様態による画像処理装置は、以下の構成を備える。すなわち、
第1の条件で第1の画像と第2の画像との間の変形を推定して第1の変形情報を取得する第1の推定手段と、
前記第1の条件とは異なる第2の条件で前記第1の画像と前記第2の画像との間の変形を推定して第2の変形情報を取得する第2の推定手段と、
前記第1の変形情報と前記第2の変形情報との差異に基づいて、画像上の点における変形の推定誤差または信頼度を取得する取得手段と
を備えることを特徴とする。
本発明によれば、複数画像間の位置合わせにおける推定誤差や信頼度を取得することができる。
第1実施形態に係る画像処理システムおよび画像処理装置の機能構成を示す図。 第1実施形態に係る画像処理装置の処理手順を示すフローチャート。 第1実施形態における推定誤差表示の例を示す模式図。 第2実施形態における推定誤差表示の例を示す模式図。
以下、添付の図面を参照しながら、本発明の実施の形態について詳説する。ただし、本発明の範囲は図示例に限定されるものではない。
(第1実施形態)
本実施形態に係る画像処理装置は、複数の3次元断層画像間の変形位置合わせを行う装置であり、一方の3次元断層画像を他方の3次元断層画像に位置や形状が合うように変形させた変形画像を生成する。このとき、生成した変形画像の夫々の位置における位置合わせの推定誤差や信頼度を求めて、その分布を変形画像と対応付けて表示することを第一の特徴とする。以下、本実施形態に係る画像処理装置について説明する。
<1.画像処理システム1の構成>
図1は、本実施形態に係る画像処理システム1の構成を示す。同図に示すように、本実施形態における画像処理システム1は、画像処理装置10と、データサーバ20と、ディスプレイ30とを有している。画像処理装置10は、画像取得部110、対応情報取得部120、設定部125、位置合わせ部130、画像生成部140、推定誤差取得部150、および表示制御部160を備えている。
画像取得部110は、位置合わせの対象である被検体の複数の3次元断層画像(すなわち、第1の画像と第2の画像)を、データサーバ20から取得する。
対応情報取得部120は、第1の画像および第2の画像の夫々の画像座標系における対応情報を取得する。
設定部125は、位置合わせ処理(変形推定処理)を実行する際の条件(第1の条件)を設定する。条件設定の詳細は後述する。また、設定部125は、第1の条件に基づいて当該第1の条件とは異なる第2の条件を設定する。
位置合わせ部130は、対応情報取得部120により取得された対応情報に基づいて、設定部125により設定された条件下で、第1の画像と第2の画像の位置合わせ処理(変形推定処理)を実行する。
画像生成部140は、位置合わせ部130により得られた位置合わせ結果に基づいて、第2の画像と一致するように第1の画像に座標変換を施した新たな画像(変形画像)を生成する。
推定誤差取得部150は、設定部125により設定された第1の条件下で得られた位置合わせ結果と、第2の条件下で得られた位置合わせ結果とに基づいて、画像生成部140により得られた変形画像上の各点における位置合わせの推定誤差や信頼度を計算し、その分布を示す推定誤差画像を生成する。
表示制御部160は、第2の画像の断面画像と、画像生成部140により生成された変形画像の対応断面画像とをディスプレイ30に表示する制御を行う。
ここで、データサーバ20は、位置合わせの対象である被検体の複数の3次元断層画像を保持している。なお、夫々の3次元断層画像は、付帯情報として、画像のサイズ、解像度、モダリティの種類、撮像情報(撮像部位、体位など)、症例情報(患者情報、臓器領域情報、注目領域情報など)等を含んでいる。これらの付帯情報は、必要に応じて、画像と共に画像処理装置10へと送信される。
<2.画像処理装置10が実施する処理>
次に、図2のフローチャートを参照して、本実施形態に係る画像処理装置10が実施する処理の手順について説明する。なお、以下の説明では、同一の被検体を異なる体位で撮像した第1の画像と第2の画像を複数の3次元断層画像としてデータサーバ20から読み込み、第1の画像に変形処理を施し、第2の画像と位置や形状が合うように変形させた変形画像を生成する場合を例にとって説明する。
(ステップS200;入力画像の取得)
ステップS200において、画像取得部110は、位置合わせの対象である被検体の複数の3次元断層画像(すなわち、第1の画像と第2の画像)を、データサーバ20から取得する。そして、取得した画像を、画像生成部140および表示制御部160に送信する。
(ステップS210;対応情報の取得)
ステップS210において、対応情報取得部120は、第1の画像および第2の画像の夫々の画像座標系における対応情報を取得する。そして、取得した対応情報を、位置合わせ部130に送信する。ここで、対応情報とは、2つの画像間で対応する点や線や面の情報のことである。対応情報の取得は、例えば、ユーザが目視で同定した画像間の対応点を画像処理装置10に入力することによって実行される。具体的には、ディスプレイ30に表示されている夫々の3次元断層画像の断面画像を比較しながら、夫々の画像上において解剖学的に同じとみなした位置を、不図示のマウスのクリック等によって対応点として入力することによって取得する。
(ステップS220;パラメータの設定)
ステップS220において、設定部125は、位置合わせ処理(変形推定処理)を実行する際の条件(第1の条件)を設定して(ユーザの選択を取得して)、位置合わせ部130に送信する。第1の条件は、変形を推定する際に使用する変形記述モデルの種類と、前記変形記述モデルの詳細設定とを含む。例えば、以下の条件に関するユーザの選択を取得する。
・変形記述モデルの選択(例えば、FFD(Free−Form Deformation)を用いるか、放射基底関数を用いるかの選択)
・FFDを用いる場合の、制御点のグリッドサイズの選択(例えば、5mm、10mm、15mm、および20mmからの選択)
・放射基底関数を用いる場合の、放射基底関数の形状の選択(例えば、TPS(Thin Plate Spline)関数、Gauss関数、Wendland関数、およびcubic関数からの選択)
・変形の最適化計算に用いるコスト関数における各種の正則化項(体積の保存や滑らかさの維持などを評価する項)の有無や重みの設定
なお、全ての条件をユーザが設定する必要は必ずしも必要ではなく、一部の条件のみをユーザが設定可能な状態としておいて、他の条件は既定の値を設定するようにしてもよい。もちろん、上記の条件は一例にすぎず、採用する変形記述モデルや位置合わせ手法に応じて、上記以外の条件を設定可能とすることが望ましい。
(ステップS230;位置合わせ)
ステップS230において、位置合わせ部130は、ステップS210で取得した対応情報に基づいて、ステップS220で設定した条件下で、第1の画像と第2の画像の位置合わせ処理(変形推定処理)を実行する。すなわち、設定条件下で第1の画像を変形した場合に第2の画像との間での対応点位置の残差が(あるいは、該残差を含むコスト関数が)最小となるような変形情報(第1の変形情報)を(当該条件下における変形パラメータを)推定する。そして、得られた推定結果(以下、第1の位置合わせ結果と呼ぶ)を、画像生成部140および推定誤差取得部150へと送信する。なお、以下の説明では、本ステップで推定される変形情報を、第1の画像の座標pの第2の画像への写像関数φ(p)と表記する。
(ステップS240;条件変動下での位置合わせ)
ステップS240において、設定部125は、ステップS220で設定した第1の条件に基づいて、該条件とは異なる1つ以上の(N通りの)条件(第2の条件)を設定する。そして、位置合わせ部130は、新たに設定した夫々の条件下で、ステップS210で取得した対応情報に基づいて、第1の画像と第2の画像の位置合わせ処理を実行する。夫々の条件を設定した後の処理は、ステップS230と同様である。そして、得られた複数の推定結果である変形情報(第2の変形情報)(以下、第2の位置合わせ結果と呼ぶ)を、推定誤差取得部150へと送信する。なお、以下の説明では、本ステップで推定されるi番目の変形情報を、第1の画像の座標pの第2の画像への写像関数φi(p)と表記する。
ここで、第2の条件の設定は、ステップS220で設定した第1の条件から一部の条件以外を固定し、固定しなかった一部の条件(変動条件)の値を変動させることで行う。すなわち、第1の条件の少なくとも一部を変更することにより、第2の条件を設定する。この時、変動条件は、第1の条件に応じて定めることができる。例えば、第1の条件として設定した変形記述モデルに応じて、変動条件を決定する。例えば、第1の条件の変形記述モデルに応じて、夫々の変形記述モデルの詳細設定の一部を変動条件とする。
より具体的には、第1の条件で変形記述モデルとしてFFDが設定されている場合には、例えば制御点のグリッドサイズを変動条件とする。このとき、例えば、第1の条件で制御点のグリッドサイズが5mmに設定されている場合には、FFDのグリッドサイズを5mm以外の値、即ち、10mm、15mm、および20mmに変更した場合の夫々を第2の条件とする。
また、第1の条件で変形記述モデルとして放射基底関数が設定されている場合には、放射基底関数の形状を変動条件とする。このとき、例えば、第1の条件で放射基底関数としてTPS関数が設定されている場合には、放射基底関数をTPS関数以外の関数、即ち、Gauss関数、Wendland関数、およびcubic関数に変更した場合の夫々を第2の条件とする。
あるいは、第1の条件における夫々の正則化処理の有効・無効の設定に応じて、変動条件を決定するようにしてもよい。例えば、第1の条件で有効と設定されている正則化処理に関して、該当する正則化項の重みを、設定されている値以外の様々な値に変更した場合の夫々を第2の条件とすることができる。なお、変動条件は、設定部125を介してユーザが指定する構成であってもよい。
(ステップS250;変形画像の生成)
ステップS250において、画像生成部140は、ステップS230で得た位置合わせ結果に基づいて、第2の画像と一致するように第1の画像に座標変換を施した新たな画像(変形画像)を生成する。
(ステップS260;推定誤差の取得)
ステップS260において、推定誤差取得部150は、ステップS230およびステップS240で得た位置合わせ結果(第1の変形情報および第2の変形情報の差異)に基づいて、ステップS250で得た変形画像上の各点における位置合わせの推定誤差や信頼度を計算し、その分布を示す推定誤差画像を生成する。そして、生成した推定誤差画像を、表示制御部160へ送信する。
本実施形態における推定誤差画像は、各ボクセル値が、その位置における位置合わせの推定誤差を示すボリューム画像である。以下に、推定誤差画像の注目ボクセル(座標qとおく)における、推定誤差の取得方法を説明する。まず、ステップS230で得た写像φ(第1の変形情報)に基づき、φによって座標qに写像される第1の画像の座標pを導出する(すなわち、q=φ(p)となるpを求める)。次に、ステップS240で得た写像φi(第2の変形情報)の夫々で該座標pを写像し、変形画像の座標qi=φi(p)を導出する。ここで、第1の画像の座標pにとって、座標qは、ステップS230の位置合わせ結果に基づく変位先であり、一方、座標qiは、ステップS240の夫々の位置合わせ結果に基づく変位先である。そこで、座標pの変位先としての座標qの推定誤差を、座標qと座標qiの関係に基づいて算出する。より具体的には、座標qに対する座標qiのばらつきに基づいて算出する。例えば、qと夫々のqiとの3次元距離の平均値、メディアン値、最大値の何れかを推定誤差と定義する。あるいは、qと夫々のqiとのx,y,z各軸の距離を求め、軸毎の推定誤差を同様に求めるようにしてもよい。また、qとqiを合わせた点群の分散や標準偏差を求め、これを推定誤差として用いてもよい。また、このようにして求めた値に所定の正規化処理を施すことで0〜1に換算した値を、信頼度として保持するようにしてもよい。信頼度は、第1の変形情報と第2の変形情報の差異、若しくは推定誤差に基づいて求められ、変形画像上の各点がどの程度信頼して良いのかを示す指標である。例えば、第1の変形情報と第2の変形情報の差異、若しくは推定誤差が小さければ、信頼度が高い。第1の変形情報と第2の変形情報の差異、若しくは推定誤差が大きければ、信頼度が低い。
以上の処理を、変形画像上の所定のボクセルに対して実行することで、誤差推定画像を生成する。なお、推定誤差を計算する領域は、変形画像の全体(全てのボクセル)としてもよいし、注目する臓器領域内や病変等の注目領域内としてもよい。後者の場合、ステップS200でデータサーバ20から取得した臓器領域や注目領域の情報を参照する。もしくは、画像の閾値処理や既存の領域抽出の方法を用いて臓器領域や病変領域を取得する。あるいは、ユーザが指定した画像上の領域を注目領域として取得する。そして領域内の点を注目点として設定し、夫々の注目点について推定誤差を取得する。このようにすることで、後段の処理に不要な計算を省略できる。また、注目点は、領域内の全ボクセルとしてもよいし、一定間隔毎(例えば、5ボクセルおき)としてもよい。このようにすることで、推定誤差の計算時間を短縮することができる。
(ステップS270;断面画像と推定誤差の表示)
ステップS270において、表示制御部160は、第2の画像の断面画像と、ステップS250で生成した変形画像の対応断面画像とを、ユーザの操作に応じて、ディスプレイ30に表示する制御を行う。また、表示制御部160は、ステップS260で取得した推定誤差画像から、変形画像の該断面画像に対応する断面を切り出して、推定誤差マップとしてディスプレイ30に表示する制御を行う。
図3(a)に、ディスプレイ30に表示される変形画像の断面画像310の例を示す。また、図3(b)に、ディスプレイ30に表示される推定誤差マップの表示の一例を示す。この例では、変形画像の断面画像310に重畳する形で、推定誤差マップ320が表示されている。ここで表示される推定誤差マップ320は、ステップS260で取得した推定誤差画像(ボリュームデータ)を、変形画像の断面画像310と対応する断面で切った断面画像である。画像の輝度値は、推定誤差マップのボクセル値を変換した値とする。例えば、所定の推定誤差(例えば、推定誤差10mm)を輝度値255、推定誤差0mmを輝度値0に変換することでグレースケールの推定誤差マップを作成して、これに疑似カラーを割りあて疑似カラーマップとして表示する。
なお、推定誤差マップは断面画像に並べて表示してもよいし、重畳して表示してもよい。重畳表示のオン/オフは、例えば、ディスプレイ30に表示される不図示のGUI上の重畳表示ボタンをユーザがオン/オフすることで制御できる。このボタンがオフの場合は、推定誤差マップを非表示にして断面画像310のみを表示し、オンの場合は、推定誤差マップ320と断面画像310とを重畳表示する。また、ステップS260で各軸方向の推定誤差を求めている場合には、夫々の推定誤差マップを並べて表示するようにしてもよいし、何れの軸方向の推定誤差マップを表示するかを選択できるようにしてもよい。
なお、本ステップで表示する推定誤差マップは、推定誤差画像に所定の加工を施したものであってもよい。例えば、推定誤差が閾値以上のボクセルの上にのみ赤色等を半透明で重畳表示することで、推定誤差の不十分な部位をより明示的に確認できるようにしてもよい。もちろん、何れの推定誤差マップを重畳表示するかを、ユーザが選択できることが望ましい。
以上説明したように、本実施形態に係る画像処理装置(画像処理装置10)は、第1の条件で第1の画像と第2の画像との間の変形を推定して第1の変形情報を取得する第1の推定部(位置合わせ部130、S230)と、第1の条件とは異なる第2の条件で第1の画像と第2の画像との間の変形を推定して第2の変形情報を取得する第2の推定部(位置合わせ部130、S240)と、第1の変形情報と第2の変形情報との差異に基づいて、画像上の点における変形の推定誤差または信頼度を取得する取得部(推定誤差取得部150、S260)とを備える。
本実施形態によれば、変形の推定誤差または信頼度を取得することができる。また、変形画像の断面画像上に推定誤差マップが重畳表示されるため、ユーザは、表示された断面画像の各点がその位置にあることの信頼度(どの程度信頼して良いのか)を、容易に把握できる。
(変形例1)
ステップS260のボリューム画像としての推定誤差画像の生成は必ずしも必須ではない。その代わりに、ステップS270の処理で表示することが決定された変形画像の断面画像上の各ボクセルについてのみ推定誤差の取得を行い、表示する推定誤差の断面画像を直接生成してもよい。
(変形例2)
ステップS210で対応情報取得部120が実行する対応情報の取得は、画像解析処理によって自動的に行ってもよい。例えば、夫々の画像から画像パターンの特徴的な点や線を検出し、画像パターンの類似性に基づいて自動で取得するようにしてもよい。また、画像解析処理によって自動取得した対応点を候補として、ユーザが手動で修正した点を最終的な対応点の位置としてもよい。なお、対応情報の取得は、データサーバ20が保持している情報を読み込むことにより行ってもよい。
(変形例3)
ステップS240で位置合わせ部130が実施する処理において、推定方法(推定条件)を変動させる方法は上記に限定されない。例えば、複数の異なる変形記述モデルを用いることで、異なる変形推定結果を得るようにしてもよい。例えば、ステップS230でFFDを用いた変形推定が実施される場合に、本ステップでは放射基底関数を用いた変形推定を行うようにしてもよい。
<第2実施形態>
第1実施形態では、推定誤差の分布を可視化した推定誤差マップを変形画像の断面画像上に重畳表示する例について説明した。これに対して、第2実施形態に係る画像処理装置は、マップ以外の形態で推定誤差の表示を行うことを特徴とする。以下、本実施形態に係る画像処理装置について、第1実施形態と異なる部分についてのみ説明する。
本実施形態における画像処理システム1の構成、画像処理装置10の各部の動作、処理手順は、第1の実施形態と概ね同様である。ただし、ステップS270で表示制御部160が行う処理のみが、第1実施形態と異なっている。
(ステップS270;断面画像と推定誤差の表示)
ステップS270において、表示制御部160は、第2の画像の断面画像と、ステップS250で生成した変形画像の対応断面画像とを、ユーザの操作に応じて、ディスプレイ30に表示する制御を行う。また、表示制御部160は、変形画像の該断面画像上でユーザが指示した点の推定誤差を、ステップS260で取得した推定誤差画像から取得して、ディスプレイ30に表示する制御を行う。
図4に、本実施形態における推定誤差の表示の例を示す。表示制御部160は、ディスプレイ30に表示した変形画像の断面画像310上の座標の、マウス等による指示を取得すると、該座標における推定誤差を推定誤差画像から取得する。そして、例えば図4(a)に示すように、カーソル410の示す座標に対して、該座標における推定誤差を表す文字情報420を、カーソル410の近傍に重畳表示する。あるいは、図4(b)に示すように、カーソル430の示す座標に対して、該座標における推定誤差の断面画像上での分布(誤差推定範囲)440を示す楕円を表示する。これにより、表示された断面画像310上でカーソルを移動させるだけで、ユーザは、当該座標における誤差の推定値を知ることができる。
このように、第1実施形態では推定誤差の分布を可視化した推定誤差マップを変形画像の断面画像上に重畳表示し、第2実施形態では、カーソルの示す座標に対して、推定誤差を表す文字情報や誤差推定範囲を変形画像の断面画像上に表示している。ただし、この際の変形情報の取得方法や推定誤差または信頼度の取得方法は、第1実施形態で説明した方法に限定されず、種々の方法を用いてもよい。変形画像と推定誤差または信頼度とが対応付けられて表示されることにより、表示された断面画像の各点がその位置にあることの信頼度(どの程度信頼して良いのか)をユーザが把握できればよい。
以上説明したように、第1乃至第2実施形態に係る画像処理装置(画像処理装置10)は、画像の変形情報を取得する情報取得部(対応情報取得部120、位置合わせ部130等)と、変形情報に基づいて画像に座標変換を施した変形画像を生成する画像生成部(画像生成部140)と、変形画像上における変形の推定誤差または信頼度を取得する取得部(推定誤差取得部150)と、変形画像と推定誤差または信頼度を示す情報(第1実施形態では推定誤差マップ320、第2実施形態では文字情報420や誤差推定範囲440を示す楕円など)とを対応付けて(例えば、重畳して)表示させる表示制御部(表示制御部160)とを備える。
本実施形態によれば、変形の推定誤差または信頼度をマップ以外の表示方法で提示することが可能となり、誤差推定マップ等の重畳によって断面画像が見にくくなるというデメリットを回避できる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
10:画像処理装置、20:データサーバ、30:ディスプレイ、110:画像取得部、120:対応情報取得部、125:設定部、130:位置合わせ部、140:画像生成部、150:推定誤差取得部、160:表示制御部

Claims (13)

  1. 第1の条件で第1の画像と第2の画像との間の変形を推定して第1の変形情報を取得する第1の推定手段と、
    前記第1の条件とは異なる第2の条件で前記第1の画像と前記第2の画像との間の変形を推定して第2の変形情報を取得する第2の推定手段と、
    前記第1の変形情報と前記第2の変形情報との差異に基づいて、画像上の点における変形の推定誤差または信頼度を取得する取得手段と
    を備えることを特徴とする画像処理装置。
  2. 前記第1の条件に基づいて前記第2の条件を設定する設定手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記設定手段は、前記第1の条件の少なくとも一部を変更することにより前記第2の条件を設定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記第1の条件は、変形を推定する際に使用する変形記述モデルの種類と、前記変形記述モデルの詳細設定とを含むことを特徴とする請求項3に記載の画像処理装置。
  5. 前記設定手段は、前記第1の条件の前記変形記述モデルの詳細設定の一部を変更することにより前記第2の条件を設定することを特徴とする請求項4に記載の画像処理装置。
  6. 前記第1の変形情報に基づいて、前記第2の画像と一致するように前記第1の画像に座標変換を施した変形画像を生成する画像生成手段をさらに備えることを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
  7. 前記第2の画像の断面画像と、前記画像生成手段により生成された前記変形画像の対応断面画像とをディスプレイに表示する制御を行う表示制御手段をさらに備えることを特徴とする請求項6に記載の画像処理装置。
  8. 前記取得手段は、前記推定誤差の分布を示す推定誤差画像を生成することを特徴とする請求項7に記載の画像処理装置。
  9. 前記表示制御手段は、前記推定誤差画像から前記変形画像の断面画像に対応する断面を切り出して推定誤差マップとして、前記変形画像の断面画像に重畳してディスプレイに表示する制御を行うことを特徴とする請求項8に記載の画像処理装置。
  10. 画像の変形情報を取得する情報取得手段と、
    前記変形情報に基づいて前記画像に座標変換を施した変形画像を生成する画像生成手段と、
    前記変形画像上における変形の推定誤差または信頼度を取得する取得手段と、
    前記変形画像と前記推定誤差または信頼度を示す情報とを対応付けて表示させる表示制御手段と、
    を備えることを特徴とする画像処理装置。
  11. 画像処理方法であって、
    第1の条件で第1の画像と第2の画像との間の変形を推定して第1の変形情報を取得する工程と、
    前記第1の条件とは異なる第2の条件で前記第1の画像と前記第2の画像との間の変形を推定して第2の変形情報を取得する工程と、
    前記第1の変形情報と前記第2の変形情報との差異に基づいて、画像上の点における変形の推定誤差または信頼度を取得する工程と
    を有することを特徴とする画像処理方法。
  12. 画像処理方法であって、
    画像の変形情報を取得する工程と、
    前記変形情報に基づいて前記画像に座標変換を施した変形画像を生成する工程と、
    前記変形画像上における変形の推定誤差または信頼度を取得する工程と、
    前記変形画像と前記推定誤差または信頼度を示す情報とを対応付けて表示させる工程と、
    を有することを特徴とする画像処理方法。
  13. 請求項11または12に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
JP2014123815A 2014-06-16 2014-06-16 画像処理装置、画像処理方法およびプログラム Active JP6383189B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014123815A JP6383189B2 (ja) 2014-06-16 2014-06-16 画像処理装置、画像処理方法およびプログラム
CN201510312241.4A CN105279731B (zh) 2014-06-16 2015-06-09 图像处理装置及图像处理方法
US14/736,556 US9576361B2 (en) 2014-06-16 2015-06-11 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014123815A JP6383189B2 (ja) 2014-06-16 2014-06-16 画像処理装置、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018145408A Division JP6643416B2 (ja) 2018-08-01 2018-08-01 画像処理装置、画像処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2016002214A true JP2016002214A (ja) 2016-01-12
JP2016002214A5 JP2016002214A5 (ja) 2017-07-27
JP6383189B2 JP6383189B2 (ja) 2018-08-29

Family

ID=54836571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014123815A Active JP6383189B2 (ja) 2014-06-16 2014-06-16 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US9576361B2 (ja)
JP (1) JP6383189B2 (ja)
CN (1) CN105279731B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017136354A (ja) * 2016-01-29 2017-08-10 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム。
JP2017525445A (ja) * 2014-07-29 2017-09-07 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波撮像装置
JP2017191459A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018114578A (ja) * 2017-01-17 2018-07-26 ファナック株式会社 ロボット制御装置
JP2018153455A (ja) * 2017-03-17 2018-10-04 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5950619B2 (ja) * 2011-04-06 2016-07-13 キヤノン株式会社 情報処理装置
JP6021346B2 (ja) * 2012-02-14 2016-11-09 キヤノン株式会社 診断支援装置及びその制御方法
US9744665B1 (en) * 2016-01-27 2017-08-29 X Development Llc Optimization of observer robot locations
JP6840481B2 (ja) * 2016-07-19 2021-03-10 キヤノン株式会社 画像処理装置および画像処理方法
JP6827739B2 (ja) * 2016-08-31 2021-02-10 キヤノン株式会社 画像表示装置、画像表示方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006141534A (ja) * 2004-11-17 2006-06-08 Hitachi Medical Corp 医用画像表示装置
JP2009515585A (ja) * 2005-11-14 2009-04-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ボリュメトリック位置合わせのための方法、システムおよびコンピュータプログラム
JP2013059658A (ja) * 2012-11-29 2013-04-04 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2013165936A (ja) * 2011-04-06 2013-08-29 Canon Inc 情報処理装置
US20140278232A1 (en) * 2013-03-14 2014-09-18 Curexo Technology Corporation Intra-operative registration of anatomical structures

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787932B2 (en) * 2002-04-26 2010-08-31 Brainlab Ag Planning and navigation assistance using two-dimensionally adapted generic and detected patient data
WO2005043466A1 (ja) * 2003-10-30 2005-05-12 Nec Corporation 物体の状態を推定する推定システム、推定方法および推定プログラム
JP5147656B2 (ja) * 2008-11-20 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5586917B2 (ja) * 2009-10-27 2014-09-10 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US9087375B2 (en) * 2011-03-28 2015-07-21 Sony Corporation Image processing device, image processing method, and program
US9165363B2 (en) * 2011-08-03 2015-10-20 Hitachi Medical Corporation Image diagnostic device and image correction method
US9058647B2 (en) 2012-01-16 2015-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006141534A (ja) * 2004-11-17 2006-06-08 Hitachi Medical Corp 医用画像表示装置
JP2009515585A (ja) * 2005-11-14 2009-04-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ボリュメトリック位置合わせのための方法、システムおよびコンピュータプログラム
JP2013165936A (ja) * 2011-04-06 2013-08-29 Canon Inc 情報処理装置
JP2013059658A (ja) * 2012-11-29 2013-04-04 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US20140278232A1 (en) * 2013-03-14 2014-09-18 Curexo Technology Corporation Intra-operative registration of anatomical structures

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525445A (ja) * 2014-07-29 2017-09-07 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波撮像装置
JP2017136354A (ja) * 2016-01-29 2017-08-10 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム。
JP2017191459A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018114578A (ja) * 2017-01-17 2018-07-26 ファナック株式会社 ロボット制御装置
US10953540B2 (en) 2017-01-17 2021-03-23 Fanuc Corporation Robot control device
JP2018153455A (ja) * 2017-03-17 2018-10-04 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム

Also Published As

Publication number Publication date
US20150363907A1 (en) 2015-12-17
CN105279731B (zh) 2018-10-02
US9576361B2 (en) 2017-02-21
JP6383189B2 (ja) 2018-08-29
CN105279731A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
JP6383189B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6467221B2 (ja) 画像処理装置および方法
US10537247B2 (en) Information processing apparatus, method, and programmed storage medium, for calculating ranges of regions of interest of scanned or other images
JP6393106B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10262417B2 (en) Tooth axis estimation program, tooth axis estimation device and method of the same, tooth profile data creation program, tooth profile data creation device and method of the same
JP6376873B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN109544606B (zh) 基于多个Kinect的快速自动配准方法及系统
US10433815B2 (en) Ultrasound diagnostic image generating device and method
US20190080500A1 (en) Deformation field calculation apparatus, method, and computer readable storage medium
JP2016087109A5 (ja)
JP2018038609A5 (ja)
JP6643416B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2017003424A1 (en) Metric 3d stitching of rgb-d data
JP2022111705A (ja) 学習装置、画像処理装置、医用画像撮像装置、学習方法およびプログラム
JP2018192306A (ja) 情報処理装置
JP5241937B2 (ja) 画像処理装置及び画像処理方法
JP2016106781A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
CN106887017B (zh) 图像处理装置、图像处理系统及图像处理方法
JP2019032292A (ja) 対称性可視化装置、対称性可視化方法及びプログラム
JP2013027433A (ja) 画像処理装置、画像処理方法
JP6357049B2 (ja) 画像処理装置、医用画像診断システム、画像処理方法およびプログラム
JP5677502B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180803

R151 Written notification of patent or utility model registration

Ref document number: 6383189

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151