JP2016022337A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2016022337A
JP2016022337A JP2014151043A JP2014151043A JP2016022337A JP 2016022337 A JP2016022337 A JP 2016022337A JP 2014151043 A JP2014151043 A JP 2014151043A JP 2014151043 A JP2014151043 A JP 2014151043A JP 2016022337 A JP2016022337 A JP 2016022337A
Authority
JP
Japan
Prior art keywords
reliability
image
corresponding point
alignment
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014151043A
Other languages
English (en)
Other versions
JP6393106B2 (ja
Inventor
康文 ▲高▼間
康文 ▲高▼間
Yasufumi Takama
佐藤 清秀
Kiyohide Sato
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014151043A priority Critical patent/JP6393106B2/ja
Priority to US14/801,138 priority patent/US9767562B2/en
Priority to CN201510434250.0A priority patent/CN105303550B/zh
Publication of JP2016022337A publication Critical patent/JP2016022337A/ja
Priority to US15/671,168 priority patent/US10424067B2/en
Application granted granted Critical
Publication of JP6393106B2 publication Critical patent/JP6393106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Abstract

【課題】複数画像間における病変部の同定や対比を容易に行うため、画像間の位置合わせの精度を向上させるための技術を提供する。【解決手段】画像処理装置1であって、画像間の位置合わせのために入力される対応点情報を取得する対応点情報取得部120と、対応点情報の充足度を当該対応点情報に基づいて取得する充足度取得部140と、充足度に関する情報の提示を制御する提示制御部160と、取得された対応点情報が前記画像間の位置合わせを行うために十分であるか否かを判定する判定部150と、を有する。【選択図】図1

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。
医用画像(例えば、被検体内部の情報を表す3次元断層画像)を用いた画像診断において、医師は、複数の撮像装置(モダリティ)、体位、時刻、撮像パラメータ等で撮像した画像を対比しながら診断を行う。しかし、画像間で被検体の姿勢や形状が異なるため、病変部の同定や対比を行うことが困難である。そこで、複数画像間の位置合わせを行うことが試みられている。これにより、一方の画像に姿勢の変換や変形を施して他方と同一にした画像を生成することが可能となる。その結果、医師は複数画像間における病変部の同定や対比を容易に行える。医療以外の分野においても、物体の内部状態を検査する目的において同様の作業が実施される場合がある。
特許文献1では、複数の画像を位置合わせする方法として、人手で与えた画像間の対応点情報を利用する方法が開示されている。また、特許文献1では、位置合わせ後の画像間の類似度に基づいて位置合わせ結果の良否を評価し、その結果に応じて修正を促すメッセージを提示することが開示されている。
特開2011−142974号公報
しかしながら、特許文献1の技術では、位置合わせ結果が不良である場合であっても不良である理由は不明である。そのため、どのように対処すれば位置合わせ結果を改善できるのかをユーザが判断できず、結果として位置合わせの精度を向上させることが難しいという課題がある。
本発明は、上記の課題に鑑みてなされたものであり、画像間の位置合わせの精度を向上させるための技術を提供することを目的とする。
上記の目的を達成するための本発明の一様態による画像処理装置は、以下の構成を備える。すなわち、
画像間の位置合わせのために入力される対応点情報を取得する対応点情報取得手段と、
前記対応点情報の充足度を当該対応点情報に基づいて取得する充足度取得手段と、
前記充足度に関する情報の提示を制御する提示制御手段と、
を有する。
本発明によれば、画像間の位置合わせの精度を向上させることできる。
第1の実施形態に係る画像処理装置の構成例を示す図である。 第1の実施形態に係る画像処理装置が実施する処理の手順を示すフローチャート。 第1の実施形態に係る対応点入力画面を示す模式図である。 第1の実施形態に係る位置合わせの信頼度を取得する処理の工程を示す模式図である。 第1の実施形態に係る判定テーブルの一例を示す模式図である。 第1の実施形態に係る表示断層画像への信頼度マップの重畳表示を示す模式図である。 第1の実施形態に係る対応点を追加した場合の信頼度マップを示す模式図である。 第1の実施形態に係る対応点が充足したことを提示する方法を示す模式図である。 第1の実施形態に係る対応点の不足を警告する表示例を示す模式図である。
以下、添付図面に従って本発明に係る画像処理装置の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
(第1の実施形態)
本実施形態に係る画像処理装置は、複数の3次元断層画像間の位置合わせを行う装置であり、取得した画像間の対応点情報の充足度を位置合わせの信頼度に基づいて計算しユーザに提示する。充足度は、位置合わせに用いる対応点が3次元断層画像空間中にどの程度充足しているかを示す情報である。また、信頼度は、3次元断層画像空間中の任意の座標(注目点)における位置合わせの正確性を示す情報である。以下、本実施形態に係る画像処理装置について説明する。
<1.画像処理装置の構成>
図1は、本実施形態に係る画像処理装置の構成例を示す図である。画像処理装置1は、画像取得部110、対応点情報取得部120、信頼度取得部130、充足度取得部140、判定部150、提示制御部160、および位置合わせ部170を備える。そして、画像処理装置1には、データベース2とディスプレイ3が接続されている。データベース2は、各種のモダリティで撮像した被検体の3次元断層画像の画像情報とその付帯情報を保存している。
ここで、画像の付帯情報とは、画像のサイズ、解像度、モダリティの種類、撮像情報、症例情報などである。また、撮像情報とは、撮像部位や撮像体位の情報である。また、撮像部位の情報とは、例えば、乳房や肝臓、脳という情報である。また、撮像体位の情報とは、例えば、仰臥位や伏臥位という情報である。また、症例情報とは、例えば、年齢や性別などの患者情報、対象部位の大きさ、位置合わせの対象となる領域(例えば注目する臓器の領域)を示す情報、画像空間内における病変等の注目領域を示す情報である。
画像取得部110は、位置合わせの対象とする3次元断層画像である第1の画像および第2の画像の画像情報とその付帯情報とをデータベース2から取得する。対応点情報取得部120は、第1の画像および第2の画像の夫々の画像座標系における対応点情報を取得する。信頼度取得部130は、第1の画像および第2の画像の夫々の3次元断層画像上の対応点の情報に基づいて、画像上の注目点における位置合わせの信頼度を取得する。また、信頼度取得部130は、信頼度の分布を示す信頼度マップを生成する。
充足度取得部140は、信頼度取得部130により取得された信頼度に基づいて、対応点情報の充足度を取得する。判定部150は、対応点情報取得部120により取得された対応点情報が画像間の位置合わせのために十分充足しているか否かを、充足度取得部140により取得された対応点情報の充足度に基づいて判定する。提示制御部160は、充足度取得部140により取得された充足度と、判定部150による判定結果(充足の良否)とを、充足情報としてディスプレイ3に表示する制御を行う。また、提示制御部160は、信頼度取得部130により取得された信頼度マップをディスプレイ3に表示する制御を行う。位置合わせ部170は、対応点情報取得部120により取得された対応点情報に基づいて画像間の位置合わせ処理を実行する。
<2.処理フロー>
次に、図2のフローチャートを参照して、本実施形態における画像処理装置1が実施する処理の手順について説明する。
(ステップS200;画像の取得)
ステップS200において、画像取得部110は、位置合わせの対象とする3次元断層画像である第1の画像および第2の画像の画像情報とその付帯情報とをデータベース2から取得する。取得した画像情報は、提示制御部160へ送信され、断層画像がディスプレイ3に表示される。また、取得した付帯情報は、信頼度取得部130や充足度取得部140へ必要に応じて送信される。
(ステップS201;対応点情報の取得)
ステップS201において、対応点情報取得部120は、第1の画像および第2の画像の夫々の画像座標系における対応点情報を取得する。データベース2が対応点情報を保持している場合にはその情報を取得する。また、対応点情報をユーザが追加入力した場合にはその情報を取得する。そして、取得した対応点情報を、信頼度取得部130、位置合わせ部170、および提示制御部160へ送信する。
図3に、ユーザが対応点を入力する画面の模式図を示す。ユーザは、ディスプレイ3の対応点入力画面300に表示されている夫々の3次元断層画像である断層画像301と断層画像302とを比較しながら、夫々の画像上において解剖学的に同じとみなした位置を、マウスクリック等によって対応点303として入力する。なお、対応点情報の取得は、画像解析処理によって自動的に行ってもよい。例えば、夫々の画像から特徴的な点を検出し、画像パターンの類似性に基づいて自動で対応点を取得するようにしてもよい。また、画像解析処理によって自動取得した対応点を候補として、ユーザが手動で修正した点を最終的な対応点の位置としてもよい。なお、図3における重畳表示ボタン310及び位置合わせボタン320の機能については後述する。
(ステップS202;信頼度の取得)
ステップS202において、信頼度取得部130は、夫々の3次元断層画像上の対応点の情報に基づいて、画像上の所定の点(各注目点)における位置合わせの信頼度を計算し、信頼度の分布を示す信頼度マップを生成する。本実施形態における信頼度マップは、3次元画像の各注目点の各ボクセル値がその位置における位置合わせの信頼度を示すボリューム画像である。本実施形態では、第1の画像と第2の画像の夫々について、信頼度マップの生成処理を実行する。そして、生成した信頼度マップを、充足度取得部140と、提示制御部160へ送信する。
以下に、本実施形態における位置合わせの信頼度の取得方法を説明する。対応点に基づく位置合わせでは、一般に、対応点に近い点ほど位置合わせは正確であり、遠い点ほど位置合わせは正確ではなくなる。そこで、本実施形態では、画像上の注目する点(注目点)の夫々について、該注目点の位置を基準とした局所的な領域において、対応点の情報がどの程度十分に得られているかを導出する。これはすなわち、当該位置における対応点の局所的な充足度を導出していることに相当する。そして、対応点の局所的な充足度に応じて位置合わせの信頼度が定まると考え、該局所的な充足度を、当該位置における位置合わせの信頼度と定義する。すなわち、該注目点とその近辺に存在する各対応点との位置関係に基づいて、該注目点における位置合わせの信頼度を算出する。例えば、該注目点と各対応点との3次元距離を計算し、その値に基づいて該画像上の注目点の位置における位置合わせの信頼度を算出する。例えば、これらの距離の最短距離d_minに基づいて信頼度を算出する。
ここで、図4は、第1の画像400における対応点401(夫々の画像(第1の画像400及び第1の画像400に対応する第2の画像(不図示))上で設定された対応点の組のうちの第1の画像400の側の点)、対応点403、対応点405と、注目点410の模式図を示している。これらの4点は、第1の画像400の座標系においてかならずしも同一平面にない点である。
信頼度取得部130は、対応点401、対応点403、対応点405の夫々と注目点410との間の3次元距離(距離411、距離413、距離415)を計算する。そして、これらの距離の最短距離d_minに基づいて、注目点410における信頼度を算出する。例えば、1/(1+d_min)を信頼度と定義して算出する。このとき、d_minが0であれば信頼度は1.0となり、d_minが大きくなるにつれて信頼度は0に近い値を取る。あるいは、最短距離d_minが大きいほど線形に下がるように信頼度を算出するようにしてもよい。すなわち、対応点の座標と画像座標が一致する場合に信頼度は最大(例えば、1.0)になり、離れるほど信頼度は低くなり、一定以上離れると0.0になるように定義してもよい。
なお、信頼度の取得方法は、注目点から対応点までの3次元距離の最小値(最短距離)に基づかなくてもよい。例えば、これらの距離の平均値や中央値に基づいて算出するようにしてもよい。あるいは、N番目(Nは所定の自然数)に近い距離に基づいてもよい。また、近いほうから上位N個(Nは所定の自然数)の距離の平均値に基づいて算出するようにしてもよい。また、複数の指標の組み合わせ(加重平均)でもよい。また、距離として、ユークリッド距離以外の任意の距離尺度を用いてもよい。また、所定の閾値以内の距離にある対応点数に基づいて算出するようにしてもよい。また、信頼度の取得方法は、ステップS200において画像取得部110がデータベース2から取得した画像の付帯情報(撮像部位の情報等)に応じて変更してもよい。
例えば、肝臓のように変形が小さい場合は、乳房のような変形が大きい場合に比べて、対応点から離れても位置合わせは比較的正確である。そこで、肝臓の場合は、線形で信頼度を算出し対応点から離れると位置合わせの信頼度が緩やかに一定に下がるように算出する。乳房の場合は、対応点から一定の範囲内の信頼度を1.0に設定し、そこから距離が離れるほど信頼度が反比例するように算出する。このように、撮像部位に応じて信頼度の取得方法を変えることで、変形の大きさを考慮して信頼度を算出できるようになる。乳房の場合、患者の年齢や乳房の大きさでも変形の大きさが変化するので、それを考慮して信頼度を算出するようにしてもよい。
なお、信頼度を計算する領域は、画像全体としてもよいし、注目する臓器領域内や病変等の注目領域内としてもよい。後者の場合、ステップS200において画像取得部110がデータベース2から取得した臓器領域や注目領域の情報を参照する。もしくは、画像の閾値処理や既存の領域抽出の方法を用いて臓器領域や病変領域を取得する。あるいは、ユーザが指定した画像上の注目領域を取得する。そして領域内の各点を注目点として設定し、夫々の注目点について信頼度を算出する。このようにすることで、後段の処理に不要な計算を省略できる。また、注目点は、領域内の全ボクセルとしてもよいし、一定間隔毎(例えば、5ボクセルおき)としてもよい。このようにすることで、信頼度の計算時間を短縮することができる。
(ステップS203;充足度の取得)
ステップS203において、充足度取得部140は、ステップS202で取得した信頼度に基づいて、対応点情報の充足度を取得する。そして、取得した充足度を判定部150および提示制御部160へ送信する。
充足度としては、例えば、算出した信頼度の(すなわち、2つの信頼度マップの)最小値(複数の注目点の信頼度の最小値)を用いることができる。また、複数の注目点の信頼度の平均値や中央値を用いてもよい。あるいは、M番目(Mは所定の自然数)に小さい信頼度の値を用いてもよい。また、小さいほうから上位M個(Mは所定の自然数)の信頼度の平均値に基づいて算出するようにしてもよい。また、所定の閾値以上の信頼度を有する注目点の割合を充足度と定義して算出してもよい。また、画像上の注目領域からの距離に応じた信頼度の加重平均値を用いてもよい。このとき、算出処理を行う範囲は、画像全体としてもよいし、注目する臓器領域内や、ユーザが指定した注目領域内としてもよい。あるいは、注目領域の代表位置(例えば重心位置)における信頼度を、充足度として用いるようにしてもよい。また、一方の信頼度マップのみから算出するようにしてもよい。
(ステップS204;充足度の判定)
ステップS204において、判定部150は、ステップS201で取得した対応点情報が充足しているか否かを、ステップS203で取得した対応点情報の充足度に基づいて判定する。具体的には、取得した充足度を閾値と比較することで、充足度の良否(合否)を判定する。そして、その結果を提示制御部160へ送信する。
判定部150は、撮像部位や撮像体位、症例情報毎にあらかじめ設定された閾値を、判定テーブルとして保持している。図5に、判定テーブルの例を示す。判定テーブルを用いる場合、画像の撮像部位501、撮像体位502、症例情報503に基づいて充足度の閾値504を設定する。例えば、撮像部位501が乳房のように変形が大きい場合、充足度を高くする必要があるので閾値504は大きく設定する。反対に、肝臓や脳のように変形が小さい場合、充足度は小さくてよいので、閾値504は小さく設定する。
乳房のように変形が大きいと考えられる場合でも、比較する画像間で撮像体位502が同じ場合には対象の形状はほぼ同じであるため、閾値504は比較的小さくてよい。しかし、伏臥位と仰臥位のように画像間で撮像体位が異なる場合には変形が大きくなり、対象の形状は大きく異なるので、閾値504は大きく設定する。また、乳房の柔軟度は年齢によっても異なる。症例情報503のうち患者年齢5031や乳房の大きさ5032によっても閾値504を変更してもよい。年齢が若いとより硬く変形が小さいので閾値504は小さく、年齢を重ねるほど柔らかく変形が大きくなるので閾値504は大きく設定する。乳房が小さいほど変形が小さいので閾値504は小さく、大きいほど変形が大きいので閾値504は大きく設定する。このように、判定部150は、撮像部位501と撮像体位502、症例情報503の患者年齢5031と乳房の大きさ5032に基づいて、判定テーブルを参照して充足度の閾値504を取得する。つまり、画像の付帯情報に応じて、充足度の判定方法を変更する。
なお、信頼度マップの夫々のボクセル値に対して上記閾値との比較を行うことで、夫々の位置における信頼度の良否判定結果を得て、その値を保持する第二の信頼度マップを生成するようにしてもよい。
(ステップS205;信頼度マップの表示)
ステップS205において、提示制御部160は、ステップS202で取得した信頼度マップをディスプレイ3に表示する制御を行う。
ここで図6および図7は、対応点入力画面300において、断層画像301と断層画像302に夫々の信頼度画像604(704)と信頼度画像605(705)を重畳表示する場合の模式図である。信頼度画像604(704)と信頼度画像605(705)は、ステップS202で取得した信頼度マップを、断層画像301、断層画像302と対応する断面で切った際の断層画像である。
画像の輝度値は、信頼度マップのボクセル値を変換した値とする。例えば、信頼度1.0を輝度値255、信頼度0.0を輝度値0に変換することでグレースケールの信頼度マップを作成して、これに疑似カラーを割りあて疑似カラーマップとして表示する。図6に示すように、対応点が1つ入力された場合、信頼度マップでは同心球状に信頼度が広がる。その場合、信頼度画像604および信頼度画像605は、対応点303が同心円の中心にあり、その近傍の信頼度が高く、離れるほど低いことを示す画素値で表現される。さらに、図7に示すように、対応点が1つ追加されると、信頼度画像704および信頼度画像705のように、対応点303と対応点703を中心とした同心円状に信頼度が広がる。
なお、信頼度画像は断層画像に並べて表示してもよいし、重畳して表示してもよい。重畳表示する場合、例えば、対応点入力画面300に表示した重畳表示ボタン310をユーザがオン/オフすることで制御できる。重畳表示ボタン310がオフの場合、信頼度画像を非表示にし、断層画像のみを表示する。重畳表示ボタン310がオンの場合、信頼度画像と断層画像とを重畳表示するように制御する。信頼度画像を断層画像に重畳表示することにより、ユーザは断層画像上における信頼度が低い領域、つまり、対応点が不足している領域を容易に把握できる。
なお、ステップS204の処理において第二の信頼度マップを生成している場合には、この情報を断層画像に重畳表示するようにしてもよい。例えば、信頼度が閾値以下のボクセルの上にのみ赤色等を半透明で重畳表示することで、信頼度の不十分な部位をより明示的に確認できるようにしてもよい。何れの信頼度マップを重畳表示するかを、ユーザが選択できるようにしてもよい。
(ステップS206;充足情報の表示)
ステップS206において、提示制御部160は、ステップS203で取得した充足度と、ステップS204で判定した充足の良否を、充足情報としてディスプレイ3に表示する制御を行う。
例えば、図6、図7、図8に示すように、対応点入力画面300内に、充足情報606(充足情報706、充足情報806)として、取得した充足度の数値と、充足しているか否かの情報とを、ユーザに提示する。このとき、ステップS204で判定に用いた閾値504を充足度と並べて表示してもよい。また、該閾値に対する充足度の比率(到達率)を表示するようにしてもよい。なお、充足情報の提示方法は、文字の表示に限定されるものではない。例えば、図8に示すように、充足したと判断した場合に、断層画像301、断層画像302の外枠81、外枠82を強調表示する等の表示形態をとるようにしてもよい。また、音(音声やブザー)や振動で提示するようにしてもよい。
(ステップS207;位置合わせ実施判定)
ステップS207において、画像処理装置1は、位置合わせ処理の実施に関するユーザからの指示を取得し、指示に応じた処理の分岐を行う。例えば、図3に示すような位置合わせボタン320をユーザが押したか否かを判定する。そして、位置合わせ処理実施の指示を取得した場合は、ステップS208に処理を進める。一方、実施の指示を取得しない場合はステップS201に処理を戻して、新しい対応点情報の追加入力を受け付ける。
ここまでの処理により、ユーザは、表示された信頼度マップや充足情報を参考にして、対応点入力を継続するか否かを判断できる。また、対応点入力を継続する場合に、信頼度が低い領域が可視化されているので、その領域に対して対応点を入力することにより、信頼度を効率的に向上させることができる。信頼度が向上することにより、充足度も向上し、対応点入力の処理を完了する方向にユーザを導くことができる。
(ステップS208;充足判定)
ステップS208において、画像処理装置1は、対応点情報が充足している場合と充足していない場合とで、処理の分岐を行う。すなわち、ステップS204で対応点情報が充足していると判断した場合には、ステップS211に処理を進め、充足していないと判断した場合には、ステップS209に処理を進める。
(ステップS209;メッセージの表示)
ステップS209において、提示制御部160は、対応点情報が充足していないことをディスプレイ3に表示する制御を行う。例えば、図9に示すような警告メッセージ(通知ウィンドウ900)をユーザに提示する。そして、警告を受け入れて対応点の入力作業に戻るか、もしくは、警告を無視して位置合わせ処理を実施するかの指示を、ユーザに要求する。具体的には、指示を取得するためのGUI(例えば、図9の否定ボタン910(「無視」)及び肯定ボタン920(「戻る」))を表示する。
(ステップS210;戻るか否か判定)
ステップS210において、画像処理装置1は、位置合わせ処理実施の可否に関するユーザの指示を取得し、指示に応じた処理の分岐を行う。すなわち、警告を受け入れて対応点の入力作業に戻るという指示を取得した場合(図9の肯定ボタン920が押された場合)には、ステップS201に処理を戻して、新しい対応点情報の追加入力を受け付ける。一方、警告を無視して位置合わせ処理を実施するという指示を取得した場合(図9の否定ボタン910が押された場合)には、ステップS211に処理を進める。
(ステップS211;位置合わせ)
ステップS211において、位置合わせ部170は、取得した対応点情報に基づいて2つの画像の位置合わせ処理を実行する。そして、第1の画像と一致するように第2の画像に座標変換を施した新たな画像を生成して表示/保存する。なお、対応点情報に基づく画像間の位置合わせ処理は公知であるので、詳細な説明は省略する。例えば、剛体変換推定、アフィン変換推定、FFD(Free−Form Deformation)法による変形位置合わせなど、位置合わせ後の対応点間距離を最小化する何れかの手法を用いることができる。以上で図2のフローチャートの各処理が終了する。
以上説明したように、本実施形態に係る画像処理装置1は、画像間(断層画像301、302、400)の位置合わせのために入力される対応点情報(対応点303、401、403、405、703)を取得する対応点情報取得部(130)と、対応点情報の充足度(充足情報606、706、806)を当該対応点情報に基づいて取得する充足度取得部(140)と、前記充足度に関する情報(充足情報606、706、806等の取得した充足度の数値と、充足しているか否かの情報等)の提示を制御する提示制御部(160)とを有する。
また、本実施形態に係る画像処理装置1は、画像間(断層画像301、302、400)の位置合わせのために入力される対応点情報(対応点303、401、403、405、703)を取得する対応点情報取得部(130)と、画像上の注目点(410)と各対応点(401、403、405)との距離(411、413、415)に基づいて、当該画像上の複数の注目点における位置合わせの信頼度を分布として取得する信頼度取得部と、信頼度の分布を示す情報(信頼度画像604、605、704、705)を提示する提示制御部(160)とを有する。
これにより、ユーザは、複数の画像を位置合わせする場合に、対応点の充足情報(対応点が十分か否か)を知ることができる。ユーザはこの情報を参考にして、対応点情報の入力作業を終えるか否か判断することができる。位置合わせ処理を開始する前に充足度を確認できるので、処理を終えてからもう一度対応点情報の入力を行うような無駄な時間を削減できる。すなわち、不十分な対応点情報で位置合わせすることを回避できる。
また、位置合わせの信頼度マップを参照することにより、ユーザは信頼度が低い領域を確認できるようになり、その領域に対応点を追加することで、位置合わせの信頼度を向上することができる。結果として画像間の位置合わせの精度を向上させることできる。
さらに、特許文献1に示したような位置合わせ結果の良否の判定の結果、位置合わせの結果が正しくない場合に、対応点の充足度に問題があるか否かを判断することができる。対応点が充足しているのに位置合わせが正しくない場合、入力した対応点情報に誤りがあると判断できる。
(変形例1の1)
ステップS202の処理において、信頼度マップの生成は必ずしも必須ではない。例えば、注目領域の代表位置(例えば重心位置)の1点のみの信頼度を求める構成であってもよい。この場合、ステップS205では、信頼度マップの表示を行わない。また、ステップS203では、取得した信頼度を充足度として使用する。これにより、計算量を大幅に削減することができる。
(第2の実施形態)
第1の実施形態では、充足度を、位置合わせの信頼度に基づいて取得する例について説明した。しかし、充足度の取得は必ずしも位置合わせの信頼度に基づかなくてもよい。本実施形態では、対応点情報から得られる他の情報に基づいて充足度を取得する例を説明する。また、本実施形態では、充足度の良否を、類似した過去の症例における対応点情報の入力の事例に基づいて判定する例を説明する。
<1.画像処理装置の構成>
以下、本実施形態に係る画像処理装置について、第1の実施形態と異なる部分について説明する。なお、本実施形態に係る画像処理装置1、データベース2、ディスプレイ3の構成は、第1の実施形態と同様であるので説明を省略する。ただし、本実施形態に係るデータベース2には、過去の症例(画像の組)に対して位置合わせ処理(対応点情報の入力)を行った記録が事例として保管されており、画像の付帯情報(撮像部位や撮像体位、症例情報)と対応点情報とが予め関連付けて記憶されているものとする。また、本実施形態の画像処理装置1には信頼度取得部130が存在しておらず、対応点情報取得部120が取得した対応点情報は、充足度取得部140へと送信される。
<2.処理フロー>
次に、本実施形態における画像処理装置1の各部の動作と処理手順を、図2のフローチャートを参照して説明する。ただし、本実施形態では、信頼度の取得と表示に係るステップS202およびステップS205の処理は実行されない。なお、ステップS203とステップS204の処理以外は第1の実施形態と同じ処理であるので説明を省略する。
(ステップS203;充足度の取得)
ステップS203において、充足度取得部140は、ステップS201で取得した対応点情報に基づいて、対応点情報の充足度を取得する。本実施形態では、取得した対応点の数を充足度とする。そして、算出した充足度を判定部150および提示制御部160へ送信する。
(ステップS204;充足度の判定)
ステップS204において、判定部150は、ステップS201で取得した対応点情報が充足しているか否かを、ステップS203で取得した対応点情報の充足度に基づいて判定する。そして、その結果を提示制御部160へ送信する。
本実施形態では、充足度を判定するための基準を、撮像部位や撮像体位、症例情報に基づいて過去の類似症例を検索した結果を用いて設定する。そのために、判定部150は、まず初めに、位置合わせの対象としている症例(すなわち、第1の画像と第2の画像)と類似している過去の症例(画像の組)を、撮像部位や撮像体位の組み合わせ、症例情報である患者年齢や乳房の大きさに基づいて、データベース2から検索する。類似症例を検索する方法は既存のいかなる方法であってもよい。そして、最も類似する症例に関連づけられた(当該症例の位置合わせの際に入力された)対応点の数を取得し、これを閾値として充足度の良否を判定する。
以上説明したように、本実施形態に係る画像処理装置は、取得した対応点の数に基づいて充足度を取得する。これにより、信頼度を計算する時間を省き、高速に充足情報を提示できる。さらに、類似症例を検索した結果に基づいて充足度を判定することにより、同じように変形すると推定される症例の対応点の数に基づいて充足度を判定することができる。
(変形例2の1)
ステップS204における良否判定の閾値は、他の方法で与えてもよい。例えば、第1の実施形態と同様に判定テーブルによって与えてもよいし、画像の付帯情報に依らずに、予め定めた固定値を用いるようにしてもよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
1:画像処理装置、2:データベース、3:ディスプレイ、110:画像取得部、120:対応点情報取得部、130:信頼度取得部、140:充足度取得部、150:判定部、160:提示制御部、170:位置合わせ部、300:対応点入力画面、301,302:断層画像、303,401,403,405,703:対応点、310:重畳表示ボタン、320:位置合わせボタン、410:注目点、604,605,704,705:信頼度画像、606,706,806:充足情報

Claims (16)

  1. 画像間の位置合わせのために入力される対応点情報を取得する対応点情報取得手段と、
    前記対応点情報の充足度を当該対応点情報に基づいて取得する充足度取得手段と、
    前記充足度に関する情報の提示を制御する提示制御手段と、
    を有することを特徴とする画像処理装置。
  2. 前記充足度に基づいて、前記取得された対応点情報が前記画像間の位置合わせを行うために十分であるか否かを判定する判定手段をさらに有し、
    前記提示制御手段は、前記判定手段による判定結果を提示することを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像上の注目点と各対応点との距離に基づいて、当該画像上の注目点における位置合わせの信頼度を取得する信頼度取得手段をさらに有し、
    前記充足度取得手段は、前記信頼度に基づいて前記充足度を取得することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記充足度取得手段は、複数の注目点の信頼度の最小値を前記充足度として取得することを特徴とする請求項3に記載の画像処理装置。
  5. 前記充足度取得手段は、複数の注目点の信頼度の平均値を前記充足度として取得することを特徴とする請求項3に記載の画像処理装置。
  6. 前記充足度取得手段は、画像上の注目領域からの距離に応じた信頼度の加重平均値を前記充足度として取得することを特徴とする請求項3に記載の画像処理装置。
  7. 前記信頼度取得手段は、画像上の各注目点における位置合わせの信頼度を取得して信頼度の分布を示す信頼度マップを生成することを特徴とする請求項3乃至6の何れか1項に記載の画像処理装置。
  8. 前記画像は3次元画像であり、
    前記信頼度マップは、前記3次元画像の各ボクセルのボクセル値が当該ボクセルの位置における位置合わせの信頼度を示すマップであることを特徴とする請求項7に記載の画像処理装置。
  9. 前記提示制御手段は、前記信頼度マップを前記画像に重畳して提示することを特徴とする請求項7または8に記載の画像処理装置。
  10. 前記信頼度取得手段は、前記画像の付帯情報に応じて、前記信頼度の取得方法を変更することを特徴とする請求項3に記載の画像処理装置。
  11. 前記判定手段は、前記画像の付帯情報に応じて、充足度の判定方法を変更することを特徴とする請求項2に記載の画像処理装置。
  12. 前記対応点情報に基づいて前記画像間の位置合わせを行う位置合わせ手段をさらに有することを特徴とする請求項1乃至11の何れか1項に記載の画像処理装置。
  13. 画像間の位置合わせのために入力される対応点情報を取得する対応点情報取得手段と、
    画像上の注目点と各対応点との距離に基づいて、当該画像上の複数の注目点における位置合わせの信頼度を分布として取得する信頼度取得手段と、
    前記信頼度の分布を示す情報を提示する提示制御手段と、
    を有することを特徴とする画像処理装置。
  14. 画像間の位置合わせのために入力される対応点情報を取得する対応点情報取得工程と、
    前記対応点情報の充足度を当該対応点情報に基づいて取得する充足度取得工程と、
    前記充足度に関する情報の提示を制御する提示制御工程と、
    を有することを特徴とする画像処理方法。
  15. 画像間の位置合わせのために入力される対応点情報を取得する対応点情報取得工程と、
    画像上の注目点と各対応点との距離に基づいて、当該画像上の複数の注目点における位置合わせの信頼度を分布として取得する信頼度取得工程と、
    前記信頼度の分布を示す情報を提示する提示制御工程と、
    を有することを特徴とする画像処理方法。
  16. 請求項14または15に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
JP2014151043A 2014-07-24 2014-07-24 画像処理装置、画像処理方法およびプログラム Active JP6393106B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014151043A JP6393106B2 (ja) 2014-07-24 2014-07-24 画像処理装置、画像処理方法およびプログラム
US14/801,138 US9767562B2 (en) 2014-07-24 2015-07-16 Image processing apparatus, image processing method and storage medium
CN201510434250.0A CN105303550B (zh) 2014-07-24 2015-07-22 图像处理装置及图像处理方法
US15/671,168 US10424067B2 (en) 2014-07-24 2017-08-08 Image processing apparatus, image processing method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014151043A JP6393106B2 (ja) 2014-07-24 2014-07-24 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2016022337A true JP2016022337A (ja) 2016-02-08
JP6393106B2 JP6393106B2 (ja) 2018-09-19

Family

ID=55167117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014151043A Active JP6393106B2 (ja) 2014-07-24 2014-07-24 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (2) US9767562B2 (ja)
JP (1) JP6393106B2 (ja)
CN (1) CN105303550B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018153455A (ja) * 2017-03-17 2018-10-04 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2019088672A (ja) * 2017-11-16 2019-06-13 国立大学法人九州大学 画像処理装置および画像処理装置の作動方法並びに画像処理プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6346576B2 (ja) * 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
JP6971544B2 (ja) 2015-08-06 2021-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6840481B2 (ja) 2016-07-19 2021-03-10 キヤノン株式会社 画像処理装置および画像処理方法
JP6711715B2 (ja) 2016-07-19 2020-06-17 キヤノン株式会社 画像処理装置および画像処理方法
JP7013144B2 (ja) 2016-10-12 2022-01-31 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2018110615A (ja) 2017-01-06 2018-07-19 キヤノン株式会社 画像処理装置および画像処理方法
US11138735B2 (en) * 2017-10-17 2021-10-05 Canon Medical Systems Corporation Image processing apparatus and medical image taking apparatus
JP7297439B2 (ja) 2018-12-19 2023-06-26 キヤノン株式会社 ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10137190A (ja) * 1996-11-13 1998-05-26 Toshiba Iyou Syst Eng Kk 医用画像処理装置
US6560354B1 (en) * 1999-02-16 2003-05-06 University Of Rochester Apparatus and method for registration of images to physical space using a weighted combination of points and surfaces
JP2011142974A (ja) * 2010-01-13 2011-07-28 Fujifilm Corp 医用画像表示装置および方法、並びにプログラム
JP2012213557A (ja) * 2011-04-01 2012-11-08 Canon Inc 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム
US20140037161A1 (en) * 2012-08-06 2014-02-06 Vanderbilt University Enhanced method for correcting data for deformations during image guided procedures
US20140278232A1 (en) * 2013-03-14 2014-09-18 Curexo Technology Corporation Intra-operative registration of anatomical structures

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6868172B2 (en) * 2001-10-03 2005-03-15 Eastman Kodak Company Method for registering images in a radiography application
JP3805231B2 (ja) 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
JP3796449B2 (ja) 2002-01-31 2006-07-12 キヤノン株式会社 位置姿勢決定方法および装置並びにコンピュータプログラム
EP1349114A3 (en) 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
JP4136859B2 (ja) 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
JP4537104B2 (ja) 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4914039B2 (ja) 2005-07-27 2012-04-11 キヤノン株式会社 情報処理方法および装置
US20080317382A1 (en) * 2005-11-10 2008-12-25 Koninklijke Philips Electronics, N.V. Adaptive Point-Based Elastic Image Registration
JP5219795B2 (ja) 2008-12-26 2013-06-26 キヤノン株式会社 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
JP5661382B2 (ja) 2010-08-31 2015-01-28 キヤノン株式会社 画像表示装置
WO2013047882A1 (en) 2011-09-28 2013-04-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
KR101572487B1 (ko) * 2013-08-13 2015-12-02 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
JP6397269B2 (ja) 2013-09-06 2018-09-26 キヤノン株式会社 画像処理装置、画像処理方法
US9808213B2 (en) 2014-08-11 2017-11-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, medical image diagnostic system, and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10137190A (ja) * 1996-11-13 1998-05-26 Toshiba Iyou Syst Eng Kk 医用画像処理装置
US6560354B1 (en) * 1999-02-16 2003-05-06 University Of Rochester Apparatus and method for registration of images to physical space using a weighted combination of points and surfaces
JP2011142974A (ja) * 2010-01-13 2011-07-28 Fujifilm Corp 医用画像表示装置および方法、並びにプログラム
JP2012213557A (ja) * 2011-04-01 2012-11-08 Canon Inc 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム
US20140037161A1 (en) * 2012-08-06 2014-02-06 Vanderbilt University Enhanced method for correcting data for deformations during image guided procedures
US20140278232A1 (en) * 2013-03-14 2014-09-18 Curexo Technology Corporation Intra-operative registration of anatomical structures

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018153455A (ja) * 2017-03-17 2018-10-04 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2019088672A (ja) * 2017-11-16 2019-06-13 国立大学法人九州大学 画像処理装置および画像処理装置の作動方法並びに画像処理プログラム
JP7153261B2 (ja) 2017-11-16 2022-10-14 国立大学法人九州大学 画像処理装置および画像処理装置の作動方法並びに画像処理プログラム

Also Published As

Publication number Publication date
JP6393106B2 (ja) 2018-09-19
US10424067B2 (en) 2019-09-24
US20160027179A1 (en) 2016-01-28
CN105303550B (zh) 2019-05-03
CN105303550A (zh) 2016-02-03
US9767562B2 (en) 2017-09-19
US20170337694A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
JP6393106B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6059261B2 (ja) マルチモーダル画像統合におけるレジストレーション精度を改善するインテリジェントなランドマーク選択
US10008048B2 (en) Information processing apparatus and information processing method
US20170091939A1 (en) Systems and Methods for See-Through Views of Patients
US10304158B2 (en) Image processing apparatus, image processing method and non-transitory computer-readable medium with calculation of information representing direction of target tissue and with estimating of depicting appearance of target tissue
CN107980148B (zh) 对图像进行融合以考虑运动补偿的系统和方法
JP6383189B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6541363B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5587614B2 (ja) 医用画像表示装置および方法、並びにプログラム
US10796498B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP2013022463A (ja) 運動対象輪郭抽出装置、左心室画像分離装置、運動対象輪郭抽出方法及び左心室画像分離方法
US9198603B2 (en) Device, method and program for searching for the shortest path in a tubular structure
US10433815B2 (en) Ultrasound diagnostic image generating device and method
US10603016B2 (en) Image processing apparatus, method of controlling the same, and non-transitory computer-readable storage medium
US10699424B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium with generation of deformed images
JP2016047217A (ja) 画像処理方法および装置並びにプログラム
JP6169912B2 (ja) 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム
JP6643416B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6605240B2 (ja) 画像処理方法および装置並びにプログラム
JP6745633B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5992853B2 (ja) 手術支援装置、方法およびプログラム
JP2019000403A (ja) 医用画像診断装置及び画像処理装置
JP2020080913A (ja) 非造影ct画像からの3次元メディアルアクシスモデルに基づく関心臓器画像自動セグメンテーション装置、及び自動セグメンテーション方法
JP2013027433A (ja) 画像処理装置、画像処理方法
JP2023057859A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180824

R151 Written notification of patent or utility model registration

Ref document number: 6393106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151