JP2016147026A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2016147026A JP2016147026A JP2015026965A JP2015026965A JP2016147026A JP 2016147026 A JP2016147026 A JP 2016147026A JP 2015026965 A JP2015026965 A JP 2015026965A JP 2015026965 A JP2015026965 A JP 2015026965A JP 2016147026 A JP2016147026 A JP 2016147026A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- priority
- image
- unit
- priority feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 126
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000011156 evaluation Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 119
- 238000004364 calculation method Methods 0.000 claims description 106
- 238000006073 displacement reaction Methods 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 62
- 238000000605 extraction Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 3
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Abstract
Description
前記非優先特徴点の特性を評価する評価値に基づいて該非優先特徴点の重みを設定するとともに、該非優先特徴点の重みよりも大きい値の前記優先特徴点の重みを設定する重み設定部と、
前記優先特徴点と前記優先特徴点の重み、および、前記非優先特徴点と前記非優先特徴点の重みに基づいて、前記第1の画像と前記第2の画像との位置合わせを行う位置合わせ部と、を有することを特徴とする。
本実施形態に係る画像処理装置は、作業者が入力した特徴点の情報に基づいて、2つの画像間の位置合わせを行う。2つの画像間の位置合わせにおいて、作業者が必ず一致させたい特徴点(以下、優先特徴点)の重みを、後に説明する非優先特徴点の重みに比べて常に大きく設定する(位置合わせする特徴点の優先順位を高く設定する)。そして、優先特徴点以外の特徴点(以下、非優先特徴点)に対しては、優先特徴点よりも位置合わせする優先順位は低いという条件下で、夫々の非優先特徴点の特性を評価する評価値に基づく重みを設定して位置合わせを行うことを特徴とする。なお、本実施形態で位置合わせに使用する特徴点は、2つの画像間で1対1に対応する対応点である。すなわち、優先特徴点および非優先特徴点は夫々、第1の画像と第2の画像の間で1対1に対応する特徴点である。
画像処理装置100は、以下に説明する構成要素により構成されている。データ取得部102は、画像処理装置100へと入力される3次元断層画像として、第1の画像および第2の画像を取得する。そして、データ取得部102は、第1の画像および第2の画像を特徴点抽出部104、位置合わせ部112、及び表示制御部114へと出力する。
ステップS200において、画像処理装置100のデータ取得部102は、データサーバ170から、第1の画像と第2の画像を取得する。データ取得部102は、取得した画像を特徴点抽出部104および表示制御部114に出力する。
ステップS201において、画像処理装置100の特徴点抽出部104は、第1の画像および第2の画像をそれぞれ画像処理することで、それぞれの画像から特徴点(抽出特徴点)の抽出を行う。この処理は、例えば、インタレストオペレータ等の公知の画像特徴点抽出処理を用いることが可能である。
ステップS202において、画像処理装置100の特徴点取得部106は、操作部180を介した作業者の指示に従って、第1の画像と第2の画像との間で1対1に対応づけて入力される入力特徴点の組(入力特徴点ペア)を取得する。なお、ここでは、入力特徴点ペアの数が単数、複数の場合に関わらず、入力特徴点ペアと表現する。具体的な処理は、以下のようにして行う。
ステップS203において、画像処理装置100の特徴点取得部106は、作業者の指示に従って、ステップS202で取得した入力特徴点(入力特徴点ペア)の夫々に設定する優先ラベルまたは非優先ラベルを取得する。ステップS202で入力特徴点が取得された後に、表示制御部114は、表示画面300上に特徴点の種類(優先特徴点、非優先特徴点)を選択するための選択入力部305(GUI)を表示させる。すなわち、表示制御部114は、入力特徴点を優先特徴点として設定するか、非優先特徴点として設定するかを選択するための選択入力部305を表示画面300に表示させる。特徴点取得部106は、選択入力部305の選択に応じて、優先特徴点および非優先特徴点の設定を行う。
ステップS204において、画像処理装置100の特徴点取得部106は、入力特徴点(入力特徴点ペア)に設定された優先ラベルまたは非優先ラベルの情報と、抽出特徴点ペアの情報に基づき、優先特徴点ペアと非優先特徴点ペアを確定する。
ステップS205において、画像処理装置100の特徴点取得部106は、操作部180を介して、特徴点入力の終了指示(作業者の操作入力)が入力されたか否かを判定する。特徴点入力の終了指示が入力されていない場合(S205−No)、特徴点取得部106は、処理をステップS202に戻し、同様の処理を繰り返す。一方、ステップS205の判定で、特徴点入力の終了指示が入力されている場合(S205−Yes)、特徴点取得部106は以下の処理を行う。すなわち、ステップS202から本ステップまでの処理によって確定した優先特徴点ペアと非優先特徴点ペアとを、表示制御部114と、整合度算出部108と位置合わせ部112に出力して、処理をステップS206に進める。
ステップS206において、画像処理装置100の整合度算出部108は、非優先特徴点ペアの夫々について、それ以外の他の特徴点ペアに対する整合度を算出する。すなわち、整合度算出部108は、非優先特徴点ペアの1つを注目点ペアとしたときに、該注目点ペアと、他の特徴点ペア(優先特徴点ペアおよび他の非優先特徴点ペアを含む、注目点ペア以外の他の特徴点ペア)との間の整合度を算出する。そして、整合度算出部108は、算出した整合度を重み設定部110に送信する。
ステップS500において、整合度算出部108は、非優先特徴点ペアの中から注目する特徴点ペア(注目特徴点ペアと呼ぶ)を一つ取得する。但し、既に注目特徴点ペアとして一度取得された非優先特徴点ペアは、取得する対象から除外する。
ステップS501において、整合度算出部108は、全ての特徴点ペアから注目特徴点ペアを除いた特徴点ペア(残特徴点ペアと呼ぶ)の位置に基づき、第1の変位場を算出する。すなわち、整合度算出部108は、優先特徴点ペアと、注目する非優先特徴点ペアを除いた非優先特徴点ペアの位置に基づいて、第1の画像と第2の画像との間の変位場を取得する。ここで、全ての特徴点ペアとは、全ての優先特徴点ペアと非優先特徴点ペアとを合わせた特徴点ペアである。
ステップS502において、整合度算出部108は、全ての特徴点ペアの位置に基づき、優先特徴点と、注目する非優先特徴点を含めた非優先特徴点の位置に基づいて、第1の画像と第2の画像との間の変位場(第2の変位場)を算出する。すなわち、整合度算出部108は、優先特徴点ペアと、注目する非優先特徴点ペアを含めた全ての非優先特徴点ペアの位置に基づいて、第2の変位場を取得する。使用する特徴点ペアは異なるが変位場算出の具体的な方法はステップS501と同様であるため、説明は省略する。第2の変位場は、注目特徴点ペアを含む全ての特徴点ペアの位置(3次元位置情報)が反映された変位場である。なお、第2の変位場を求める処理は、ステップS501の処理で用いた残特徴点ペア(必ずしも全ての残特徴点ペアとは限らない)に注目特徴点ペアを加えた情報に基づいて求めるという条件を満たす変位場算出処理であれば、全ての特徴点ペアを用いる方法でなくてもよい。
ステップS503において、整合度算出部108は、ステップS501で算出した第1の変位場とステップS502で算出した第2の変位場とを用いて、残特徴点ペアに対する注目特徴点ペアの整合度を算出する。ここでの整合度は、具体的には、残特徴点ペアに注目特徴点ペアを追加することによって生じる変位場の局所的な歪みを定量化したものである。整合度算出部108は、第1の変位場と第2の変位場とを比較することにより、注目特徴点ペアの位置(3次元位置情報)が変位場の算出に与える影響を、整合度として取得することができる。例えば、注目する非優先特徴点について、整合度算出部108は、第1の変位場と第2の変位場との差異に基づいて、注目する非優先特徴点の整合度を算出する。また、注目する非優先特徴点ペアについて、整合度算出部108は、第1の変位場と第2の変位場との差異に基づいて、注目する非優先特徴点ペアの整合度を算出する。整合度算出部108は、注目特徴点ペアを追加しなかった場合と追加した場合との間で、その注目特徴点ペアを構成する特徴点の位置における変位場の向きが大きく変化した場合に、整合度は低いと評価する。その反対に、整合度算出部108は、変位場の向きの変化が小さかった場合に、整合度は高いと評価する。
この計算は、tp,1、tp,2の二つの変位ベクトルがなす角度の余弦を計算することを意味する。したがって、二つの変位ベクトルがなす角度が小さい場合には整合度Mの値は高くなり、整合度算出部108は、整合度Mの評価を高くする。また、二つの変位ベクトルのなす角度が大きい場合には整合度Mの値は低くなり、整合度算出部108は、整合度Mの評価を低くする。また、(1)式において、Mの値は変位ベクトルがなす角度の余弦であるため、整合度算出部108は、−1≦M≦1の範囲で整合度を算出する。すなわち、整合度算出部108は、注目特徴点の位置において二つの変位場が示す変位ベクトルの角度差に基づいて、当該注目特徴点の整合度を算出する。
ステップS504において、整合度算出部108は、全ての非優先特徴点ペアについて、整合度を算出したか否かを判定する。全ての非優先特徴点ペアの整合度が算出されていれば(S504−Yes)、ステップS206の処理を終了する。一方、整合度が算出されていない非優先特徴点ペアが残されていれば(S504−No)、ステップS500へと処理を戻し、整合度算出部108は、整合度が算出されていない非優先特徴点ペアについて、同様の処理を行う。以上の処理により、夫々の非優先特徴点ペアについて、それ以外の特徴点ペアとの整合度を算出することができる。整合度の算出処理が終了すると、処理は図2のステップS207に進められる。
ステップS207において、重み設定部110は、全ての特徴点ペア(優先特徴点ペア、非優先特徴点ペア)に対して、位置合わせのための重みを設定する。そして、重み設定部110は、設定した重みの値を位置合わせ部112と表示制御部114に送信する。
これにより、整合度Mjの大きさに応じて、0≦wn,j≦1(=wp,i)の範囲で重みwn,jを設定することができる。
ステップS208において、画像処理装置100の位置合わせ部112は、第1の画像と第2の画像の変形位置合わせを行う。すなわち、ステップS207までの処理で取得した全ての特徴点ペア(優先特徴点ペアと非優先特徴点ペア)とその重みの値を用いて、第1の画像から第2の画像への変位場を推定する。そして、推定した変位場に基づいて、第2の画像と形状が一致するように第1の画像を変形させた変形画像を生成する。このとき、位置合わせ部112は、優先特徴点ペアに対する重みwp,iと、非優先特徴点ペアに対する重みwn,jの値に基づき、優先特徴点ペアPp,iおよび非優先特徴点ペアPn,jがそれぞれ画像間で一致するように、第1の画像と第2の画像との間の変位場を推定する。
但し、wθ、wΦは、項θと項Φをバランスさせる重み係数である。本実施形態では、例示的な設定として、wθ=1.0、wΦ=1.0とする。また、項θは以下の式で表される。
ステップS209において、画像処理装置100の表示制御部114は、ステップS208で生成された変形画像を表示部190に表示させる表示制御を行う。図7は、変形画像を表示した表示画面を例示する図である。図7において、表示制御部114は、変形画像の断面画像として、変形後の第1の断面画像701を表示する。変形後の第1の断面画像701において、変形後の優先特徴点703は図6の優先特徴点403に相当し、変形後の非優先特徴点705は図6の非優先特徴点405に相当する。
ステップS210において、画像処理装置100の終了判定部116は、終了指示(作業者の操作入力)が入力されたか否かを判定する。終了指示が入力されていない場合(S210−No)、終了判定部116は、処理をステップS202に戻し、同様の処理を繰り返す。一方、ステップS210の判定で、終了指示が入力されている場合(S210−Yes)、終了判定部116は、処理を終了させる。表示制御部114は、表示部190の表示画面に、作業者が処理を続けるか(S210−No)、終了するか(S210−Yes)を選択するためのGUI(例えば、ウィンドウ、アイコンやラジオボタン等)を表示し、GUIを介した作業者の操作入力により、終了判定部116は、処理を終了させるか、処理を続行するかを判定する。以上の処理手順に従って、画像処理装置100は処理を実行する。
第1実施形態の図2のステップS203では、直前のステップS202で取得された入力特徴点に対して、表示制御部114は、表示画面300上に特徴点の種類(優先特徴点、非優先特徴点)を選択するための選択入力部305(GUI)を表示させていた。そして、特徴点取得部106は、操作部180を介した作業者の指示に従って、入力特徴点を優先特徴点として設定するか、非優先特徴点として設定するかを識別する識別情報(優先ラベル、非優先ラベル)を取得する構成を説明した。しかしながら、優先ラベルまたは非優先ラベルを取得する構成は、この例に限定されるものではない。
第1実施形態の変形例2として、特徴点取得部106は、ステップS203で優先ラベルまたは非優先ラベルを設定するのではなく、初期値として、入力特徴点ペアに対する「優先ラベル」、または「非優先ラベル」、または「ラベルなし」の何れかを予め付与するようにしてもよい。本変形例によれば、ステップS202からステップS204の処理を、特徴点入力の処理が終了するまで繰り返すことで、作業者は入力特徴点ごとに優先ラベルまたは非優先ラベルを選択する手間をかけずに、複数の入力特徴点をまとめて入力することができる。そして、「ラベルなし」の入力特徴点ペアについて、特徴点取得部106は、後に優先ラベルまたは非優先ラベルをまとめて設定する。この場合、表示制御部114は、変形例1で説明したように、優先ラベルまたは非優先ラベルを選択するための選択入力部(GUI)を表示させる。特徴点取得部106は、作業者が表示された選択入力部(GUI)上で選択した優先ラベルまたは非優先ラベルの情報を取得し、そして、特徴点取得部106は、初期値として「ラベルなし」の入力特徴点ペアについて取得したラベルを設定する。
第1実施形態のステップS207では、優先特徴点ペアおよび非優先特徴点ペアの重みを、細かい段階で設定できるようにした構成例を説明した。しかし、重みの設定はこの例に限定されるものではなく、例えば、重み設定部110は、優先特徴点ペアおよび非優先特徴点ペアに対して、「1」または「0」のどちらかを設定することも可能である。具体的には、優先特徴点ペアは確実に一致させるものであるため、重み設定部110は、全ての優先特徴点ペアの重みを「1」を設定する。非優先特徴点ペアに関しては、ステップS206で求めた整合度が一定の閾値以上となる場合に、重み設定部110は、整合度が閾値以上となる非優先特徴点ペアの重みを「1」に設定する。整合度が閾値未満となる場合に、重み設定部110は、閾値未満となる非優先特徴点ペアの重みを「0」を設定する。例えば、重み設定部110は、整合度が0以上ならば、非優先特徴点ペアの重みを「1」に設定し、整合度が0未満ならば、非優先特徴点ペアの重みを「0」に設定するようにする。これにより、位置合わせにおいて、整合度が閾値未満となる重み「0」の非優先特徴点ペアは無視される。位置合わせ部112は、実質的には全ての優先特徴点ペアと、重み「1」に設定された非優先特徴点ペアとを用い、かつ、それらの特徴点は全て平等に扱って、位置合わせする。
第1実施形態のステップS206、S207では、非優先特徴点ペアのみ、評価値(整合度)に基づいて重みを設定し、優先特徴点ペアには一定の値(1)を設定する構成例を説明した。しかし、優先特徴点ペアの重みの設定はこの例に限定されるものではない。例えば、ステップS206において、整合度算出部108は、非優先特徴点ペアの整合度だけではなく、優先特徴点ペアの整合度も同様の方法で算出するようにしてもよい。そして、ステップS207において、重み設定部110は、ステップS207で算出した整合度に基づいて、優先特徴点ペアの重みも算出するようにしてもよい。このとき、優先特徴点ペアは、基本的には作業者が必ず一致させたい特徴点ペアであるため、重みを調整する範囲は、非優先特徴点ペアよりもごく小さく設定する。さらに、優先特徴点ペアの重みは非優先特徴点ペアよりも大きいという条件は必ず満たすようにする。例えば、整合度の値に基づいて、非優先特徴点ペアの重みを0.0〜0.9の範囲で設定し、優先特徴点ペアの重みを0.9〜1.0の範囲で設定するようにする。これは、ステップS206において非優先特徴点ペア、優先特徴点ペアの整合度をそれぞれMn,j、Mp,iとして算出したとき、それぞれを(2)式のMjに代入して重みの暫定値をそれぞれ取得し、さらに各暫定値をそれぞれ上述の設定範囲で正規化することで算出することができる。これにより、優先特徴点ペアに関しても、他の特徴点ペアに対する整合性を考慮した重みを設定でき、作業者が入力した特徴点ペアであっても、全体の特徴点ペアと空間的に矛盾するような場合は、位置が一致する度合いを少し小さくした位置合わせ結果を得ることができる。
<変形例5:特徴点は画像間で1対1に対応する点でなくても良い>
第1実施形態における優先特徴点と非優先特徴点は、第1の画像と第2の画像の間で1対1に対応する点であった。しかし、優先特徴点と非優先特徴点は画像間で必ずしも1対1に対応する点でなくてもよく、例えば、第1の画像または第2の画像の何れか一方のみから取得された、他方の画像上において対応する点の座標が明らかではない特徴点であってもよい。以下、特徴点として対応点を与えない場合の処理ステップについて、実施形態との差異を説明する。
第1実施形態では、非優先特徴点の夫々について、他の特徴点との整合度に基づく評価値を用いて位置合わせの重みを設定する構成を説明したが、重みを設定するための評価値はこれに限らない。
ステップS906において、信頼度算出部808は、非優先特徴点ペアの夫々の点について、その点近傍の画像の類似度に基づいて、対応付けの信頼度を算出する。そして、信頼度算出部808は、算出した信頼度を重み設定部110に送信する。以下、図10のフローチャートを用いて、ステップS906における信頼度の算出処理の詳細について説明する。なお、図10のステップS1000、およびステップS1004の処理は、第1実施形態で説明した図5におけるステップS500、およびステップS504の処理と同様であるため、説明を省略する。
ステップS1001において、信頼度算出部808は、注目特徴点ペアにおいて、夫々の画像上の注目特徴点の近傍の画像の類似度に基づいて、注目特徴点の対応付けの信頼度を算出する。ここで、対応付けの信頼度とは、第1の画像における特徴点と第2の画像における特徴点との対応付けにおいて、どの程度信頼できる対応付けがなされているかを定量化したものである。本実施形態では、例えば、第1の画像における注目特徴点の近傍の画像と、対応する第2の画像における注目特徴点の近傍の画像との類似度が高ければ、注目特徴点付近の解剖学的特徴がより一致すると解釈し、信頼度は高いと評価する。以下に具体的な処理を説明する。
ステップS1002において、信頼度算出部808は、第1の画像と第2の画像との間の注目特徴点ペアの近傍の画像類似度に基づき、信頼度Sを算出する。ここで、信頼度算出部808は、以下の数式を用いて画像類似度RSSDを0から1の範囲で正規化した値として信頼度Sを算出する。
これにより、画像類似度RSSDが0の場合(この場合、2つの画像が一致することを意味する)、信頼度算出部808は、信頼度Sとして1を取得する。逆に、画像類似度RSSDが限りなく大きい場合(この場合、2画像が全く一致しないことを意味する)、信頼度算出部808は、信頼度Sとして限りなく0に近い値を取得することになる。
説明を図9に戻し、ステップS907において、重み設定部110は、全ての特徴点ペア(優先特徴点ペア、非優先特徴点ペア)に対して、位置合わせのための重みを設定する。そして、重み設定部110は、設定した重みの値を位置合わせ部112と表示制御部114に送信する。重み設定部110は、優先特徴点ペアの重みについて、第1実施形態で説明した設定方法と同様の方法により重みの設定を行う。具体的な設定方法は、第1実施形態のステップS207と同じであるため説明を省略する。
第1実施形態および第2実施形態では、特徴点を優先特徴点と非優先特徴点の2種類に分類して特徴点の入力を行ったが、作業者が特徴点を入力する際の分類方法はこれに限らない。
ステップS203において、画像処理装置100の特徴点取得部106は、作業者の指示に従って、ステップS202で取得した入力特徴点(入力特徴点ペア)に設定する優先度を取得する。具体的には、以下のようにして行う。
ステップS204において、画像処理装置100の特徴点取得部106は、優先度設定部1405の設定に応じて、優先特徴点および非優先特徴点の設定を行う。例えば、特徴点取得部106は、入力特徴点ペアに設定された優先度の情報と、抽出特徴点ペアの情報に基づき、優先特徴点ペアと非優先特徴点ペアを確定する。特徴点取得部106は、例えば、優先度:5が設定された入力特徴点ペアを、優先特徴点ペアに確定する。そして、特徴点取得部106は、優先度:1から優先度:4までが設定された入力特徴点ペアを、非優先特徴点ペアに確定する。
ステップS207において、重み設定部110は、夫々の非優先特徴点ペアの整合度と、優先係数に基づいて、全ての特徴点ペア(優先特徴点ペア、非優先特徴点ペア)に対して、位置合わせのための重みを設定する。重み設定部110は、優先特徴点ペアの重みに関して、第1実施形態と同様の方法で重みを設定する。設定方法は第1実施形態と同様であるため、重複した説明は省略する。
重み設定部110は、整合度(Mj)に対して、さらに優先係数(cj)を掛け合わせた値に基づいて重みを設定できる。本実施形態によれば、作業者が、その入力特徴点に対してどの程度の確信を持っているか、という観点(確信度)を反映した位置合わせの重みを設定できる。
第1実施形態では、非優先特徴点の夫々について、他の特徴点との整合度のみを評価値として位置合わせの重みを設定したが、重みを設定するための評価値はこれに限らない。第4実施形態では、非優先特徴点の夫々について、他の特徴点との整合度と、その非優先特徴点が優先特徴点に与える影響度とを考慮した評価値により位置合わせの重み付けを行う構成を説明する。
ステップS1204において、特徴点取得部106は、入力特徴点ペアに設定された優先ラベルまたは非優先ラベルの情報に基づき、優先特徴点ペアと非優先特徴点ペアを確定する。具体的な処理は第1実施形態のステップS204と同様であるため、説明を省略する。
ステップS1206において、特徴点取得部106は、位置合わせが未実行であるか否かを判定し、位置合わせが未実行であると判定した場合(S1206−Yes)、特徴点取得部106は、特徴点ペアの情報を信頼度算出部808へと出力し、処理をステップS1207へと進める。
ステップS1208において、特徴点取得部106は、新たに追加された優先特徴点ペアを特定する。ここで、新たに追加された優先特徴点ペアとは、少なくとも1回変形位置合わせ処理が行われた状態において、作業者によって新たに入力された優先特徴点ペアのことを意味する。具体的には、特徴点取得部106は、前回の位置合わせのループにおけるステップS1204で不図示の記憶部に記憶された優先特徴点ペアの情報と、今回のステップS1204で不図示の記憶部に記憶された優先特徴点ペアの情報とを取得する。そして、今回の優先特徴点ペアの情報と前回の優先特徴点ペアの情報との差分から、特徴点取得部106は、新たに追加された優先特徴点ペア(追加優先特徴点ペアと呼ぶ)を特定する。このとき特定された追加優先特徴点ペアは、単数であっても複数であっても追加優先特徴点ペアと呼ぶものとする。
ステップS1209において、影響度算出部1109は、非優先特徴点ペアの夫々の点について、ステップS1208で特定された追加優先特徴点ペアに対して与える影響度を算出する。すなわち、特徴点取得部106は、位置合わせが実行済みであるか否かを表す判定情報を参照して、位置合わせが未実行であるか否かを判定し、位置合わせが行われている場合に、影響度算出部1109は、位置合わせ後に新たに追加された優先特徴点に対して非優先特徴点の夫々が与える影響度を算出する。そして、影響度算出部1109は、算出した影響度を重み設定部110に送信する。
ステップS1301において、影響度算出部1109は、注目特徴点ペアと追加優先特徴点ペアとの距離を算出する。具体的な処理を以下に説明する。まず、注目特徴点ペアをPmとしたとき、第1の画像および第2の画像における注目特徴点ペアPmの座標をそれぞれx1,mおよびx2,mとする。次に、追加優先特徴点ペアをPa,k(0≦k≦Na,Naは追加優先特徴点ペアの個数)としたとき、第1の画像および第2の画像における追加優先特徴点ペアPa,kの座標をそれぞれx1,kおよびx2,kとする。このとき、追加優先特徴点ペアPa,kに関する、注目特徴点ペアPmとの距離は、第1の画像上および第2の画像上のそれぞれにおいて以下の数式で表される。
d2,k=||x2,m−x2,k||・・・(8)
(S1302)
ステップS1302において、影響度算出部1109は、注目特徴点ペアが追加優先特徴点ペアに与える影響度を算出する。具体的な処理を以下に説明する。追加優先特徴点ペアPa,kと注目特徴点ペアPmとの距離に関して、以下の数式で表されるように、第1の画像と第2の画像のそれぞれにおける距離の平均値dkを算出する。
そして、影響度算出部1109は、距離の平均値dkに基づき、注目特徴点ペアPmが追加優先特徴点ペアPa,kに与える影響度Akを以下の数式を用いて算出する。
上記の式において、距離の平均値dkが「0」の場合、影響度算出部1109は、影響度Akとして「1」を取得する。距離の平均値dkが限りなく大きい場合、影響度算出部1109により取得される影響度Akは限りなく「0」に近い値となる。なお、上記の説明では、影響度算出部1109は、第1の画像と第2の画像のそれぞれにおける距離の平均値に基づいて影響度を算出したが、影響度の算出方法はこれに限らない。例えば、影響度算出部1109は、第1の画像上の距離または第2の画像上の距離の何れか一方に基づいて影響度を算出することが可能である。
ステップS1210において、重み設定部110は、夫々の非優先特徴点ペアの整合度または影響度に基づいて、全ての特徴点ペアの位置合わせのための重みを設定する。まず、ステップS1207から本ステップ(S1210)へと処理が移ってきた場合を説明する。この場合、重み設定部110は、優先特徴点ペアの重みwp,iおよび非優先特徴点ペアの重みwn,jを、第1実施形態のステップS207(図2)と同様の設定方法により設定する。具体的な設定方法は、第1実施形態のステップS207と同じであるため説明を省略する。重み設定部110は、設定した、優先特徴点ペアの重みwp,iおよび非優先特徴点ペアの重みwn,jを不図示の記憶部に記憶する。そして、記憶された重みの情報は、ステップS1202からS1213の位置合わせのループが複数回実行された場合でも、上書きされずに新たに別の領域に記憶されるものとする。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
106 特徴点取得部、108 整合度算出部、110 重み設定部、
112 位置合わせ部、114 表示制御部、116 終了判定部
Claims (19)
- 第1の画像と第2の画像の少なくともいずれか一方から取得した特徴点のうち、優先して位置合わせする優先特徴点と、前記優先特徴点よりも低い優先順位で位置合わせする非優先特徴点とを取得する特徴点取得部と、
前記非優先特徴点の特性を評価する評価値に基づいて該非優先特徴点の重みを設定するとともに、該非優先特徴点の重みよりも大きい値の前記優先特徴点の重みを設定する重み設定部と、
前記優先特徴点と前記優先特徴点の重み、および、前記非優先特徴点と前記非優先特徴点の重みに基づいて、前記第1の画像と前記第2の画像との位置合わせを行う位置合わせ部と、
を有することを特徴とする画像処理装置。 - 前記優先特徴点および前記非優先特徴点は夫々、前記第1の画像と前記第2の画像の間で1対1に対応する特徴点であることを特徴とする請求項1に記載の画像処理装置。
- 前記非優先特徴点の夫々が、前記優先特徴点および他の非優先特徴点を含む他の特徴点によって定義される前記第1の画像と前記第2の画像との間の変形情報に整合する度合いを示す整合度を、前記夫々の非優先特徴点の前記評価値として算出する整合度算出部を更に有することを特徴とする請求項1または請求項2に記載の画像処理装置。
- 前記整合度算出部は、前記優先特徴点および前記非優先特徴点の位置に基づいて生成される変位場の情報に基づき、前記整合度を算出することを特徴とする請求項3に記載の画像処理装置。
- 前記整合度算出部は、
前記優先特徴点と、注目する非優先特徴点を除いた非優先特徴点の位置に基づいて、前記第1の画像と前記第2の画像との間の第1の変位場と、
前記優先特徴点と、前記注目する非優先特徴点を含めた非優先特徴点の位置に基づいて、前記第1の画像と前記第2の画像との間の第2の変位場と、を取得し、
前記整合度算出部は、前記第1の変位場と前記第2の変位場との差異に基づいて、前記注目する非優先特徴点の前記整合度を算出することを特徴とする請求項4に記載の画像処理装置。 - 前記非優先特徴点の夫々の点に関する前記第1の画像と前記第2の画像との間の対応付けの信頼度を、前記夫々の非優先特徴点の前記評価値として算出する信頼度算出部を更に有することを特徴とする請求項2に記載の画像処理装置。
- 前記優先特徴点と前記非優先特徴点との相対的な位置関係により前記優先特徴点に対して前記非優先特徴点の夫々が与える影響度を、前記夫々の非優先特徴点の前記評価値として算出する影響度算出部を更に有することを特徴とする請求項1に記載の画像処理装置。
- 前記特徴点取得部は、位置合わせが実行済みであるか否かを表す判定情報を参照して、前記位置合わせが未実行であるか否かを判定し、
前記位置合わせが行われている場合に、前記影響度算出部は、前記位置合わせ後に新たに追加された優先特徴点に対して前記非優先特徴点の夫々が与える影響度を算出することを特徴とする請求項7に記載の画像処理装置。 - 前記重み設定部は、前記影響度と閾値との比較により、前記非優先特徴点の重みを設定することを特徴とする請求項7または請求項8に記載の画像処理装置。
- 前記重み設定部は、
前記影響度が閾値以上となる場合、前記非優先特徴点の重みをゼロに設定し、
前記影響度が閾値未満となる場合、前記位置合わせにおいて使用された重みを前記非優先特徴点の重みとして設定することを特徴とする請求項9に記載の画像処理装置。 - 前記第1の画像および前記第2の画像を取得するデータ取得部と、
前記第1の画像および前記第2の画像を画像処理して、前記第1の画像および前記第2の画像における特徴点を抽出する特徴点抽出部と、
を更に有し、
前記特徴点取得部は、前記特徴点抽出部が抽出した前記特徴点を、前記非優先特徴点として設定することを特徴とする請求項1乃至請求項10のいずれか1項に記載の画像処理装置。 - 前記位置合わせ部の位置合わせ結果を表示部に表示させる表示制御部と、
前記表示部に表示された画像において、特徴点を指定する指定部と、
を更に有し、
前記表示制御部は、前記位置合わせ結果として、前記表示部に第1の画像の断面画像と第2の画像の断面画像とを並べて表示させ、
前記指定部は、前記第1の画像の断面画像および前記第2の画像の断面画像において、対応する特徴点の組を入力特徴点として指定し、
前記表示制御部は、前記入力特徴点を優先特徴点として設定するか、非優先特徴点として設定するかを選択するための選択入力部を前記表示部に表示させることを特徴とする請求項1乃至請求項11のいずれか1項に記載の画像処理装置。 - 前記特徴点取得部は、前記選択入力部の選択に応じて、前記優先特徴点および前記非優先特徴点の設定を行うことを特徴とする請求項12に記載の画像処理装置。
- 前記表示制御部は、前記第1の画像の断面画像と前記第2の画像の断面画像において、前記優先特徴点と前記非優先特徴点とを異なる表示形式で前記表示部に表示させることを特徴とする請求項12に記載の画像処理装置。
- 前記表示制御部は、前記特徴点を一致させる優先順位を示す優先度を数値情報により設定可能な優先度設定部を前記表示部に表示させ、
前記特徴点取得部は、前記優先度設定部の設定に応じて、前記優先特徴点および前記非優先特徴点の設定を行うことを特徴とする請求項12に記載の画像処理装置。 - 第1の画像と第2の画像の少なくともいずれか一方から特徴点を取得する取得部と、
前記特徴点の夫々を、優先して位置合わせする優先特徴点として設定するか、該優先特徴点よりも低い優先順位で位置合わせする非優先特徴点として設定するかを選択するための選択入力部を表示部に表示させる表示制御部と、
前記特徴点と、前記選択入力部で選択された情報を利用して、前記第1の画像と第2の画像とを位置合わせする位置合わせ部と、
を備えることを特徴とする画像処理装置。 - 第1の画像と第2の画像の少なくともいずれか一方から取得した特徴点のうち、優先して位置合わせする優先特徴点と、前記優先特徴点よりも低い優先順位で位置合わせする非優先特徴点とを取得する取得工程と、
前記非優先特徴点の特性を評価する評価値に基づいて該非優先特徴点の重みを設定するとともに、該非優先特徴点の重みよりも大きい値の前記優先特徴点の重みを設定する設定工程と、
前記優先特徴点と前記優先特徴点の重み、および、前記非優先特徴点と前記非優先特徴点の重みに基づいて、前記第1の画像と前記第2の画像との位置合わせを行う位置合わせ工程と、
を有することを特徴とする画像処理方法。 - 第1の画像と第2の画像の少なくともいずれか一方から特徴点を取得する取得工程と、
前記特徴点の夫々を、優先して位置合わせする優先特徴点として設定するか、該優先特徴点よりも低い優先順位で位置合わせする非優先特徴点として設定するかを選択するための選択入力部を表示部に表示させる表示制御工程と、
前記特徴点と、前記選択入力部で選択された情報を利用して、前記第1の画像と第2の画像とを位置合わせする位置合わせ工程と
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至請求項16のいずれか1項に記載の画像処理装置の各部として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015026965A JP6541363B2 (ja) | 2015-02-13 | 2015-02-13 | 画像処理装置、画像処理方法およびプログラム |
US15/016,453 US9953423B2 (en) | 2015-02-13 | 2016-02-05 | Image processing apparatus, image processing method, and storage medium for image processing based on priority |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015026965A JP6541363B2 (ja) | 2015-02-13 | 2015-02-13 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016147026A true JP2016147026A (ja) | 2016-08-18 |
JP6541363B2 JP6541363B2 (ja) | 2019-07-10 |
Family
ID=56622213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015026965A Active JP6541363B2 (ja) | 2015-02-13 | 2015-02-13 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9953423B2 (ja) |
JP (1) | JP6541363B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018011635A (ja) * | 2016-07-19 | 2018-01-25 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2018151689A (ja) * | 2017-03-09 | 2018-09-27 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
JP2019084349A (ja) * | 2017-11-03 | 2019-06-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理プログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150131018A (ko) * | 2013-03-15 | 2015-11-24 | 세노 메디컬 인스투르먼츠 인코포레이티드 | 진단 벡터 분류 지원을 위한 시스템 및 방법 |
JP6537332B2 (ja) * | 2014-04-28 | 2019-07-03 | キヤノン株式会社 | 画像処理方法および撮影装置 |
JP6756406B2 (ja) * | 2016-11-30 | 2020-09-16 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN107341824B (zh) * | 2017-06-12 | 2020-07-28 | 西安电子科技大学 | 一种图像配准的综合评价指标生成方法 |
DE102017216854B4 (de) * | 2017-09-22 | 2023-05-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bewerten von Korrespondenzen von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung |
CN109949412B (zh) * | 2019-03-26 | 2021-03-02 | 腾讯科技(深圳)有限公司 | 一种三维对象重建方法和装置 |
CN113990101B (zh) * | 2021-11-19 | 2023-04-07 | 深圳市捷顺科技实业股份有限公司 | 一种禁停区域车辆检测方法及其系统和处理装置 |
CN115170566B (zh) * | 2022-09-07 | 2022-12-13 | 湖南视比特机器人有限公司 | 一种工件的识别方法和识别装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6226418B1 (en) * | 1997-11-07 | 2001-05-01 | Washington University | Rapid convolution based large deformation image matching via landmark and volume imagery |
JP2008043736A (ja) * | 2006-07-18 | 2008-02-28 | Toshiba Corp | 医用画像処理装置及び医用画像処理方法 |
JP2008136850A (ja) * | 2006-10-09 | 2008-06-19 | Biosense Webster Inc | 臓器外部の解剖学的特徴を利用した臓器の画像の対応付け |
US7409108B2 (en) * | 2003-09-22 | 2008-08-05 | Siemens Medical Solutions Usa, Inc. | Method and system for hybrid rigid registration of 2D/3D medical images |
JP2009195306A (ja) * | 2008-02-19 | 2009-09-03 | Toshiba Corp | 医用画像表示装置および画像表示方法 |
US20130245461A1 (en) * | 2010-11-12 | 2013-09-19 | Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts | Visualization of Anatomical Data by Augmented Reality |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5159301B2 (ja) | 2007-12-28 | 2013-03-06 | 株式会社東芝 | 医用画像表示装置および画像表示方法 |
JP5317716B2 (ja) | 2009-01-14 | 2013-10-16 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP6482250B2 (ja) | 2014-11-20 | 2019-03-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
2015
- 2015-02-13 JP JP2015026965A patent/JP6541363B2/ja active Active
-
2016
- 2016-02-05 US US15/016,453 patent/US9953423B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6226418B1 (en) * | 1997-11-07 | 2001-05-01 | Washington University | Rapid convolution based large deformation image matching via landmark and volume imagery |
US7409108B2 (en) * | 2003-09-22 | 2008-08-05 | Siemens Medical Solutions Usa, Inc. | Method and system for hybrid rigid registration of 2D/3D medical images |
JP2008043736A (ja) * | 2006-07-18 | 2008-02-28 | Toshiba Corp | 医用画像処理装置及び医用画像処理方法 |
JP2008136850A (ja) * | 2006-10-09 | 2008-06-19 | Biosense Webster Inc | 臓器外部の解剖学的特徴を利用した臓器の画像の対応付け |
JP2009195306A (ja) * | 2008-02-19 | 2009-09-03 | Toshiba Corp | 医用画像表示装置および画像表示方法 |
US20130245461A1 (en) * | 2010-11-12 | 2013-09-19 | Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts | Visualization of Anatomical Data by Augmented Reality |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018011635A (ja) * | 2016-07-19 | 2018-01-25 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2018151689A (ja) * | 2017-03-09 | 2018-09-27 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
JP2019084349A (ja) * | 2017-11-03 | 2019-06-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理プログラム |
JP7214434B2 (ja) | 2017-11-03 | 2023-01-30 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20160239950A1 (en) | 2016-08-18 |
JP6541363B2 (ja) | 2019-07-10 |
US9953423B2 (en) | 2018-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6541363B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
Mahmoud et al. | ORBSLAM-based endoscope tracking and 3D reconstruction | |
US9119599B2 (en) | Medical image display apparatus, medical image display method and non-transitory computer-readable recording medium having stored therein medical image display program | |
US8989843B2 (en) | Methods and apparatus for estimating the position and orientation of an implant using a mobile device | |
US10692198B2 (en) | Image processing apparatus, image processing method, image processing system, and non-transitory computer-readable storage medium for presenting three-dimensional images | |
CN107980148B (zh) | 对图像进行融合以考虑运动补偿的系统和方法 | |
US10395380B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6393106B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10603016B2 (en) | Image processing apparatus, method of controlling the same, and non-transitory computer-readable storage medium | |
JP2008212396A (ja) | 画像処理装置およびそのプログラム | |
JP2015085192A (ja) | 医用画像データ処理装置、医用画像データ処理方法および医用画像データ処理プログラム | |
JP6293619B2 (ja) | 画像処理方法および装置並びにプログラム | |
US8306354B2 (en) | Image processing apparatus, method, and program | |
US11010899B2 (en) | Image processing apparatus, control method of image processing apparatus, and storage medium | |
JP2005270635A (ja) | 画像処理方法及び処理装置 | |
JP5923067B2 (ja) | 診断支援装置および診断支援方法並びに診断支援プログラム | |
US10299864B1 (en) | Co-localization of multiple internal organs based on images obtained during surgery | |
JP2017111561A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6660741B2 (ja) | 画像抽出装置、画像抽出方法 | |
JP2015217039A (ja) | 画像処理装置、方法およびプログラム | |
EP4128145B1 (en) | Combining angiographic information with fluoroscopic images | |
Ishihara et al. | An image registration method with radial feature points sampling: application to follow-up CT scans of a solitary pulmonary nodule |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190611 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6541363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |