JP2016116774A - 画像処理装置、画像処理方法、画像処理システム、及びプログラム - Google Patents

画像処理装置、画像処理方法、画像処理システム、及びプログラム Download PDF

Info

Publication number
JP2016116774A
JP2016116774A JP2014259275A JP2014259275A JP2016116774A JP 2016116774 A JP2016116774 A JP 2016116774A JP 2014259275 A JP2014259275 A JP 2014259275A JP 2014259275 A JP2014259275 A JP 2014259275A JP 2016116774 A JP2016116774 A JP 2016116774A
Authority
JP
Japan
Prior art keywords
image
area
display
region
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014259275A
Other languages
English (en)
Other versions
JP2016116774A5 (ja
JP6448356B2 (ja
Inventor
佐藤 清秀
Kiyohide Sato
清秀 佐藤
石田 卓也
Takuya Ishida
卓也 石田
遠藤 隆明
Takaaki Endo
隆明 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014259275A priority Critical patent/JP6448356B2/ja
Priority to US14/970,752 priority patent/US10692198B2/en
Publication of JP2016116774A publication Critical patent/JP2016116774A/ja
Publication of JP2016116774A5 publication Critical patent/JP2016116774A5/ja
Application granted granted Critical
Publication of JP6448356B2 publication Critical patent/JP6448356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

【課題】対象画像の表示パラメータを適切に設定する【解決手段】画像処理装置は、被検体に対して第1のモダリティで撮像された第1の画像における関心領域を取得し、該被検体に対して該第1のモダリティと異なる第2のモダリティで撮像された第2の画像において、該関心領域に対応する対応領域を導出し、該対応領域の画素情報または該対応領域に関連する領域の画素情報に基づいて、該第2の画像の表示パラメータを設定し、該示パラメータに基づいて該第2の画像の表示画像を生成し、該表示画像の表示制御を行う。【選択図】図1

Description

本発明は、3次元断層画像を提示するための画像処理装置、画像処理方法、画像処理システム、及びプログラムに関する。
医療の分野において、医師は、磁気共鳴映像装置(以下、MRI(Magnetic Resonance Imaging)装置と呼ぶ)、超音波診断装置、光音響撮像装置(以下、PAT(PhotoAcoustic Tomography)装置と呼ぶ)などの様々なモダリティによって撮像された医用画像を併用した診断を行う。また、医師は、撮像モードや撮影体位、時相、撮影日時等の異なる同一モダリティの画像を比較することで診断を行う。なお、以下において、比較される一方の画像を参照画像、他方の画像を対象画像と呼ぶ。
夫々のモダリティは画像化の原理が違うため、同じ病変を撮像しても映り方が異なる場合がある。また、同一モダリティによって撮像された画像であっても、撮像モードの違いや撮像日時の違い等により、同じ病変の見え方が異なる場合がある。特許文献1には、参照画像の累積ヒストグラムの原点と最大画素値に基づき、対象画像の累積ヒストグラムを参照画像のものと一致するように対象画像のコントラストを調整することで、参照画像と対象画像の対比を容易にする技術が提案されている。また、特許文献2には、参照画像において検出したエッジ領域に基づき、対象画像の対応領域に強調フィルタ処理を行うことで、対象画像の画質を向上する技術が提案されている。
特開2007-14525号公報 特開2014-54362号公報
しかし、特許文献1に記載の方法は、参照画像と対象画像のコントラストを揃えるだけなので、この方法には、見たい領域が必ずしも見やすい画像になるとは限らないという課題がある。一方、特許文献2に記載の方法には、参照画像のエッジ領域に対応する領域以外の見るべき領域が適切に強調されないという課題や、見るべき領域を同定してもその適切な強調方法がわからないため観察が必ずしも容易にならないという課題がある。
本発明はかかる課題を解決するためになされたものであり、対象画像の表示パラメータを適切に設定する仕組みを提供することを目的とする。
上記の目的を達成するための本発明の一様態による画像処理装置は、以下の構成を有する。すなわち、被検体に対して第1のモダリティで撮像された第1の画像における関心領域を取得する取得手段と、前記被検体に対して前記第1のモダリティと異なる第2のモダリティで撮像された第2の画像において、前記関心領域に対応する対応領域を導出する導出手段と、前記対応領域の画素情報または前記対応領域に関連する領域の画素情報に基づいて、前記第2の画像の表示パラメータを設定するパラメータ設定手段と、前記表示パラメータに基づいて前記第2の画像の表示画像を生成する生成手段と、前記表示画像の表示制御を行う表示制御手段と、を有する。
対象画像の表示パラメータを適切に設定することが可能となる。
第1の実施形態における画像処理システムと画像処理装置の機器構成を示す図。 第1の実施形態における画像処理装置の全体の処理手順を示すフローチャート。 第1の実施形態における画像処理装置が生成する断面画像の例を説明する図。 第1の実施形態における画像処理装置が生成する断面画像の例を説明する図。 第1の実施形態における画像処理装置が生成する断面画像の例を説明する図。
以下、添付図面に従って本発明における画像処理装置の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
(第1の実施形態)
本実施形態における画像処理装置は、被検体を異なるモダリティによって撮像し、それぞれ第1の画像(参照画像)と第2の画像(対象画像)とする。該画像処理装置は、被検体の第1の画像における病変等の関心領域(以下、病変領域)の情報に基づいて、第2の画像において、該病変領域に対応する領域(以下、対応領域)を取得する。そして、該画像処理装置は、該対応領域の観察に適した表示パラメータで第2の画像の表示を行う。あるいは、該画像処理装置は、該対応領域に関連する注目すべき領域(以下、注目領域)の観察に適した表示パラメータで第2の画像の表示を行う。本実施形態における画像処理装置は、特に、該対応領域の(および/または、それに関連する注目すべき領域の)画素情報に基づいて、第2の画像の適切な画像表示パラメータを設定することを特徴とする。なお、本実施形態では、被検体を乳房とし、第1の画像がMRI画像(MRI装置によって撮像された画像)、第2の画像がPAT画像(PAT装置によって撮像された画像)、病変領域がMRI画像上における病変の造影領域である場合について説明する。
図1は、本実施形態における画像処理システム1の構成を示す。同図に示すように、本実施形態における画像処理システム1は、データサーバ180、画像処理装置100、表示部190を有している。ただし、画像処理システム1の構成要素はこれらの装置等に限定されるものではなく、さらに別の構成要素を含んでもよいし、その一部が含まれないように構成してもよい。
データサーバ180は、観察対象である被検体の第1の画像と第2の画像を保持している。また、データサーバ180は、画像に付随する各種の情報(付随情報)として、各画像の撮像情報(モダリティ名、撮像シーケンス名、体位等)、患者背景情報(年齢、性別、病歴)、血液検査等の検査情報、第1の画像の所見情報(読影医による画像所見や画像診断名)を保持している。また、データサーバ180は、第1の画像上における病変領域を表す情報を保持している。また、データサーバ180は、第1と第2の画像間の位置合わせ情報を保持している。データサーバ180は、画像処理装置100からの要求に応じて、これらの情報を画像処理装置100へと出力する。
なお、病変領域を表す情報とは、例えば、第1の画像における病変部の造影領域を表す画像(以下、ラベル画像)であり、言い換えると、内部に空洞のない、中身の詰まった3次元領域を表す情報である。あるいは、病変領域を表す情報とは、病変部の中心座標と大きさ(半径)の情報、またはこれらによって求められる球状の3次元領域を表す情報である。病変領域は、画像処理によって抽出された領域や、医師や技師によって手作業で抽出された領域である。なお、病変領域の数は1つでも複数でもよい。
また、第1と第2の画像間の位置合わせ情報とは、位置合わせの手掛かりとなる情報、あるいは、位置合わせの結果である。例えば前者として、データサーバ180は、第1と第2の画像の両方に共通して映る血管構造の分岐部などの対応点群の3次元座標を保持している。対応点は予め医師や技師によって手作業で入力された点であってもよいし、画像処理によって取得した点であってもよい。また、例えば後者(位置合わせの結果)として、データサーバ180は、画像間の剛体変換パラメータ,アフィン変換パラメータ,非線形変形モデルのパラメータ,変形場などを保持している。これらの情報は、画像間の対応付けや位置合わせを行う不図示の他の画像処理装置を用いて事前に導出される。表示部190は、画像処理装置100から出力される画像を表示する。
画像処理装置100は、画像取得部110、病変領域取得部120、位置合わせ部130、対応領域導出部140、注目領域設定部145、パラメータ設定部150、表示画像生成部160、表示制御部170を備えている。そして、データサーバ180と表示部190に接続されている。画像取得部110は、被検体の第1の画像と第2の画像をデータサーバ180から取得する。病変領域取得部120は、第1の画像上における病変領域を表す情報を取得する。位置合わせ部130は、第1と第2の画像間の位置合わせを行う。対応領域導出部140は、第1の画像における病変領域と位置合わせ結果に基づいて、第2の画像における対応領域を導出する。注目領域設定部145は、第2の画像における対応領域に基づいて、第2の画像における注目領域(表示パラメータを最適化すべき領域)を設定する。パラメータ設定部150は、第2の画像における注目領域の情報に基づいて画像表示パラメータを算出する。表示画像生成部160は、パラメータ設定部150が設定したパラメータに基づき、第1の画像と第2の画像から表示画像を生成する。表示制御部170は、生成された表示画像を表示部190に表示する制御を行う。
次に、図2のフローチャートを参照して、本実施形態における画像処理装置100が実施する処理の手順について説明する。
(S3000:画像の取得)
ステップS3000において、画像処理装置100は、画像取得部110の処理として、被検体の第1の画像と第2の画像をデータサーバ180から取得する。また、画像処理装置100は、上述した画像に付随する各種の情報(以下、付随情報)を、データサーバ180から取得する。
(S3010:病変領域の取得)
ステップS3010において、画像処理装置100は、病変領域取得部120の処理として、第1の画像における病変領域を表す情報をデータサーバ180から取得する。なお、データサーバ180が病変領域を表す情報を保持していない場合は、病変領域取得部120は、データサーバ180からの当該情報の取得を行わない。この場合、病変領域取得部120は、本ステップの処理として、第1の画像から病変領域(本実施例の場合は病変部の造影領域)を抽出する画像処理を実行する。あるいは、画像処理装置100の操作者が、表示部190に表示した第1の画像の断面画像を観察しながら、画像処理装置100へ病変領域を表す情報を入力するようにしてもよい。
次に、病変領域取得部120は、入力情報や操作者の指示が所定の条件を満たすか否かの判定を行う。ここでの入力情報とは、例えば、データサーバ180から病変領域取得部120へ入力された情報である。所定の条件を満たす場合には、病変領域取得部120は、上記の処理で取得した病変領域(第1の病変領域)の中から、臨床的に注目すべき領域を抽出する処理を行い、この処理により第2の病変領域を取得する。例えば、ステップS3000で取得した付随情報の中に病変の所見情報が含まれている場合には、病変領域取得部120は、予め定めた所見がその所見情報中に含まれるか否かを判断して、含まれる場合には該所見の内容に応じた処理を実行する。
例えば、予め定めた所見として、付随情報の中の所見情報に、「リング状濃染」や「リング濃染」などの所見が含まれている場合には、病変領域取得部120は、第1の病変領域の内部において血流が存在し得る領域などの臨床的意義のある領域を同定する処理を行う。そして、病変領域取得部120は、その同定した領域を、第2の病変領域として取得する。血流が存在し得る領域は、周囲と比較して高画素値であるため、病変領域取得部120は、例えば、第1の病変領域を判別分析法などによって高画素値領域と低画素値領域とに領域分割し、高画素値領域を第2の病変領域として設定する。
なお、病変領域取得部120が第2の病変領域を抽出するか否かの判断は、所見情報以外の条件に基づいて行ってもよい。例えば、不図示のUI(User Interface)を介して操作者が「高画素値領域のみに注目する」という指示を入力した場合に、前述の判別分析法によって第2の病変領域を抽出するようにしてもよい。また、画像処理装置100が第1の病変領域情報を操作者に提示し、その情報を参考にして操作者が手作業で第2の病変領域を画像処理装置100へ入力するようにしてもよい。また、病変領域取得部120は、例えば公知の機械学習の手法を用いて、第1の病変領域の画素値の分布が例えばリング状濃染に相当するか自動で判別し、その結果に基づいて第2の病変領域を分割して取得してもよい。
(S3020:位置合わせ)
ステップS3020において、画像処理装置100は、位置合わせ部130の処理として、第1の画像と第2の画像の間の位置合わせ処理(画像間の座標変換を求める処理)を行う。位置合わせには、例えば、特徴点の対応付けや画像類似度に基づくFFD(Free−form Deformation)法や、LDDMM(Large Deformation Diffeomorphic Metric Mapping)法等の公知の方法が用いられる。また、画像間の変形が小さい場合や無視できる場合(操作者が指示した場合)には、位置合わせ部130は、アフィン変換や剛体変換などの線形変換による画像間の座標変換を算出する。
なお、データサーバ180が第1の画像と第2の画像の間の位置合わせ結果を保持している場合には、位置合わせ部130は、データサーバ180から当該情報を取得して本ステップの処理を終了する。また、データサーバ180が位置合わせの手掛かりとなる情報を保持している場合には、位置合わせ部130は、データサーバ180から当該情報を取得して、該情報に基づく位置合わせ処理を実行する。例えば、手掛かりとなる情報として対応点の情報を取得した場合、位置合わせ部130は、対応点に基づく位置合わせ処理を実行する。
(S3030:対応領域の導出)
ステップS3030において、画像処理装置100は、対応領域導出部140の処理として、ステップS3020の結果として得た座標変換を、ステップS3010で得た第1の画像における病変領域を表す情報に適用し、第2の画像における対応領域を導出する。ここで、病変領域を表す情報がラベル画像の場合には、対応領域導出部140は、その各点に座標変換を適用することで対応領域を導出する。また、病変領域を表す情報が病変部の中心座標と大きさ(半径)の場合は、対応領域導出部140は、該中心座標に座標変換を適用して算出した対応座標を中心とし領域の大きさを半径とする球状領域を対応領域として導出する。なお、第1の病変領域が複数存在する場合や、第1と第2の病変領域が得られている場合には、対応領域導出部140は、その夫々について対応領域を導出する。
(S3035:注目領域の設定)
ステップS3035において、画像処理装置100は、注目領域設定部145の処理として、ステップS3030で得た対応領域の情報に基づいて、第2の画像における注目領域を設定する。注目領域設定部145が行う基本的な処理は、対応領域をそのまま注目領域として設定することである。ただし、複数の病変領域が存在する場合には、注目領域設定部145は、不図示のUIを介して操作者が指定した病変領域の対応領域を注目領域と設定する。あるいは、注目領域設定部145は、全ての病変領域の対応領域を注目領域と設定してもよい。また、ステップS3030で第1の病変領域と第2の病変領域の夫々の対応領域が得られている場合には、注目領域設定部145は、第2の病変領域の対応領域を注目領域と設定する。ただし、不図示のUIを介して操作者が指示した場合には、注目領域設定部145は、第1の病変領域の対応領域を注目領域と設定する。
なお、注目領域設定部145は、上記の注目領域の設定処理を行う前に、入力情報や操作者の指示が所定の条件を満たしているか否かの判定を行う。ここでの入力情報とは、例えば、データサーバ180から注目領域設定部145へ入力された情報である。所定の条件を満たす場合には、注目領域設定部145は、入力情報や操作者の指示の内容に応じて、対応領域に関連する臨床的に注目すべき領域を対応領域に基づいて求め、該領域を注目領域として設定する。例えば、ステップS3000で取得した付随情報の中に病変の所見情報が含まれている場合には、注目領域設定部145は、予め定めた所見がその所見情報中に含まれるか否かを判断して、含まれる場合には該所見の内容に応じた処理を行う。
例えば、予め定めた所見として、付随情報の中の所見情報に、「非浸潤性乳管癌(DCIS)」などの所見が含まれている場合には、注目領域設定部145は、対象領域の周辺領域を、注目すべき領域として設定する。これは、対象領域の周辺領域における血管や血流の状態が重要となるためである。具体的には、注目領域設定部145は、対応領域に膨張処理を施した後に、該対応領域を除外した領域を注目領域と設定する。あるいは、注目領域設定部145は、血管が多く存在する対応領域の短軸方向(乳管の走行に直交する方向)にのみ対応領域に膨張処理を施して、該対応領域を除外した領域を注目領域と設定してもよい。なお、このときの膨張量は、操作者が手作業によって設定できるようにしてもよい。もしくは、膨張させる領域を操作者が手作業で設定するようにしてもよい。
なお、注目領域設定部145は、対応領域を注目領域とするか、対応領域に関連する臨床的に注目すべき領域を注目領域とするかを、所見情報以外の条件に基づいて判断してもよい。例えば、不図示のUIを介して操作者が「対応領域の周辺に注目する」という指示を入力した場合に、注目領域設定部145は、前述の処理によって対応領域の周辺に注目領域を設定するようにしてもよい。また、所見情報が所定の条件を満たす場合であっても、対応領域とその周辺領域のいずれを注目領域とするかを、不図示のUIを介して操作者が選択し、該選択に応じて注目領域設定部145が注目領域を設定する構成であってもよい。
(S3040:表示パラメータの設定)
ステップS3040において、画像処理装置100は、パラメータ設定部150の処理として、ステップS3035において取得した注目領域の画素情報に基づき、表示画像生成のための表示パラメータを設定する。ここで表示パラメータとは、例えばWindow Level(ウィンドウ値:WL)とWindow Width(ウィンドウ幅:WW)の2つのパラメータであり、これらによって表示画像の階調処理を行う。
まず、パラメータ設定部150は、第2の画像における注目領域内の全画素を対象として、最大画素値(Lmax)と最小画素値(Lmin)を算出する。そして、パラメータ設定部150は、以下の式によってWWとWLを設定する。
(数1)
WW = Lmax − Lmin
(数2)
WL = (Lmax + Lmin)/2
これによると、注目領域の全体を適切なコントラストで観察可能なWL/WWが設定できる。
なお、設定する表示パラメータはこれに限らず、例えば、ガンマ補正等の輝度値補正パラメータであってもよい。この場合、パラメータ設定部150は、注目領域内の全画素の画素値の累積ヒストグラムに基づいて、輝度値補正後のヒストグラムが所定の分布を示すようにパラメータを調整してもよい。
(S3050:表示画像の生成)
ステップS3050において、画像処理装置100は、表示画像生成部160の処理として、操作者が設定した切断面によって切り取られる第1の画像と第2の画像の断面画像を表示画像として生成する。このとき、表示画像生成部160は、第2の画像の表示画像の生成には、ステップS3040で求めた表示パラメータを適用する。なお、ステップS3040で求めた表示パラメータを適用する範囲は、第2の画像の断面画像全体であってもよいし、該断面画像上における注目領域の内部であってもよい。この選択は、不図示のUIを用いて操作者が行えることが望ましい。
ここで、後者の場合(注目領域の内部に表示パラメータを適用する場合)には、パラメータ設定部150は、注目領域以外の外部の領域の表示パラメータを他の手法によって設定する。例えば、パラメータ設定部150は、外部の領域のWLとして、S3040で得たWLを共通の値として設定する。そして、パラメータ設定部150は、外部の領域のWWとして、注目領域に比べて外部の領域のコントラストが落ちるような値(例えば、WW’=α×WW,α>1)を設定することで、注目領域を際立たせて観察しやすく表示することができる。また、複数の注目領域が存在する場合には、パラメータ設定部150は、夫々の注目領域毎に表示パラメータを設定することも可能である。また、対応領域と注目領域が異なる場合には、パラメータ設定部150は、対応領域と注目領域それぞれで異なる表示パラメータを設定することも可能である。これらの場合、パラメータ設定部150は、ステップS3040と同様のパラメータ設定処理を、夫々の領域(対象領域、注目領域)に対して実行すればよい。なお、切断面の指定は、操作者によるキーボードやマウスの操作によって行われる。
(S3060:画像の表示)
ステップS3060において、画像処理装置100は、表示制御部170の処理として、ステップS3050で生成した表示画像を表示部190に表示する制御を行う。以上の処理によって表示される断面画像の例を、図3、図4、および図5に示す。
図3は、第2の画像における対象領域がそのまま注目領域として設定された場合の表示例を示している。図3(a)は、第1の画像の表示画像300と、第1の画像における病変領域310を図示している。一方、図3(b)は、第2の画像の表示画像350と、第2の画像の注目領域である対応領域360を図示している。対応領域内の画素情報に基づいて表示パラメータを設定するため、対応領域の観察に適した画像が表示される。
図4は、病変領域取得部120が第1の病変領域の中から第2の病変領域を更に取得し、注目領域設定部145が第2の病変領域の対応領域を注目領域として設定した場合の表示例を示している。図4(a)は、第1の画像の表示画像300と、第1の病変領域410と第2の病変領域420を図示している。一方、図4(b)は、第2の画像の表示画像350と、第2の画像の注目領域である第2の病変領域の対応領域460(図中で黒く塗りつぶされた領域)を図示している。第1の病変領域410は、高画素値領域と低画素値領域の両方を含む領域である。一方、第2の病変領域420は、第1の病変領域における高画素値領域と一致する。パラメータ設定部150は、第2の病変領域(濃染領域)の対応領域内の画素情報に基づいて表示画像パラメータを設定するため、濃染領域の観察に適した画像が表示される。
図5は、対応領域に関連する臨床的に注目すべき領域を注目領域として設定した場合の表示例を示している。図5(a)は、第1の画像の表示画像300と、第1の画像における病変領域510を図示している。一方、図5(b)は、第2の画像の表示画像350と、第2の画像における対応領域560と、第2の画像の注目領域である対応領域の周辺領域570を図示している。パラメータ設定部150は、対応領域の周辺領域の画素情報に基づいて表示画像パラメータを設定するため、病変周辺の血管の観察に適した画像が表示される。
(S3070:注目領域の変更)
ステップS3070において、画像処理装置100は、注目領域を変更する指示を不図示のUIを介して操作者が入力したか否かを判定する。例えば、画像処理装置100は、キーボードの所定のキーを操作者が押すなどして入力した変更の指示(別の病変領域に切り替える、第1の病変領域と第2の病変領域を切り替える、対応領域と周辺領域の何れに注目するかを切り替える等)を取得する。そして、画像処理装置100は、注目領域を変更すると判定した場合には、ステップS3035へと処理を戻して、注目領域の再設定(ステップS3035)とそれに基づく表示パラメータの再設定(ステップS3040)の処理を実行する。一方、注目領域を変更しないと判定した場合には、画像処理装置100は、ステップS3080へと処理を進める。
(S3080:終了の判定)
ステップS3080において、画像処理装置100は、全体の処理を終了するか否かの判定を行う。例えば、画像処理装置100は、キーボードの所定のキー(終了キー)を操作者が押すなどして入力した終了の指示を取得する。画像処理装置100は、終了すると判定した場合には、画像処理装置100の処理の全体を終了させる。一方、画像処理装置100は、終了すると判定しなかった場合には、ステップS3050へと処理を戻し、操作者が設定した新たな切断面に応じて表示画像を表示する処理を繰り返し実行する。以上によって、画像処理装置100の処理が実行される。
以上のように、本実施形態における画像処理装置は、第1の画像(参照画像)における病変領域に対応する、第2の画像(対象画像)における対応領域(または、それに関連する注目すべき領域)を導出する。そして、画像処理装置は、観察しやすく調整された第2の画像(対象画像)を生成し、表示する。このような調整をすることで、第1の画像(参照画像)において同定された病変などが第2の画像(対象画像)で見分けることが難しい場合でも、観察しやすい画像を操作者に提示できる。
(第2の実施形態)
第1の実施形態では、第2の画像における注目領域内の画素値に基づいて、表示画像生成のための表示パラメータを設定する場合を例に説明した。しかし、これに限らず、第1の画像(参照画像)における病変領域内の画素値にも基づいて表示パラメータを設定してもよい。以下、本実施形態における画像処理装置について、第1の実施形態との相違点を説明する。
本実施形態における画像処理システム1の構成、画像処理装置100の各部の動作、処理手順は、第1の実施形態と概ね同様である。ただし、ステップS3040でパラメータ設定部150が行う処理が、第1の実施形態と異なっている。
(S3040:表示パラメータの設定)
ステップS3040において、画像処理装置100は、パラメータ設定部150の処理として、ステップS3035で取得した注目領域の画素情報と、ステップS3010で取得した病変領域の画素情報に基づき、表示画像生成のための表示パラメータを設定する。例えば、パラメータ設定部150は、第1の画像(参照画像)における病変領域以内の全画素を対象として、最大画素値(L2max)と最小画素値(L2min)を算出し、以下の式によって、第2のWindow Width(WW2)を設定する。
(数3)
WW2 = L2max − L2min
そして、この値も勘案して、第2の画像における注目領域内のWindow Width(WW’)を、例えば以下の式によって設定すればよい。
(数4)
WW’ = w×WW + (1−w)×WW2 (0≦w≦1)
ここで、wは重み係数であり、例えば0.5とすればよい。
なお、病変領域の第2の画像における対応領域に関連する注目すべき領域が注目領域として設定されている場合には、画像処理装置100は、注目領域の第1の画像における対応領域を求めて、該対応領域を病変領域の代わりに用いて上記の処理を行う。
以上のように、本実施形態における画像処理装置によれば、第1の画像(参照画像)における病変領域と第2の画像における注目領域との対比を容易にすることができる。
(変形例1)
上記の実施形態では、第1の画像をMRI画像、第2の画像をPAT画像とした場合を例に述べたが、夫々の画像はMRI画像やPAT画像以外であってもよい。これらの画像は、例えば、超音波診断装置で撮像した超音波画像や、X線CT装置で撮像したCT画像でもよい。また、第1の画像と第2の画像は、同一のモダリティで撮像した画像でもよい。特に、同一モダリティにおいて複数の撮像モードで被検体を撮像する場合に、撮像モードが異なる画像を第1の画像と第2の画像としてもよい。例えば、MRI装置における異なるシーケンスの画像(例えばT1強調画像とT2強調画像)を第1の画像と第2の画像としてもよい。また、被検体を乳房としたのは一例にすぎず、他の臓器、人以外の生物、生物以外の工業製品などを被検体としてもよい。
(変形例2)
第1の画像と第2の画像が予め位置合わせされている(画像間に座標系の違いや変形状態の違いが無く、同じ座標は同じ場所を表すように予め画像が揃えられている)場合には、ステップS3020とステップS3030の処理を省略できる。例えば、超音波画像(超音波エコー画像)とPAT画像を同時撮像可能なハイブリッド装置で撮像した超音波画像とPAT画像を表示する場合がそれに相当する。この場合、超音波画像で得た病変を疑う領域(低エコー領域)を、そのままPAT画像における対象領域とすることができる。
(変形例3)
上記の実施形態では、画像に付随する所見情報等に基づいて注目領域を設定する例を述べたが、常に対応領域を注目領域とする構成であってもよい。この場合、ステップS3035の処理は省略できる。
(変形例4)
上記実施形態では、第1の画像と第2の画像の断面画像を表示していたが、ステップS3020で得た位置合わせ結果に基づいて、第2の画像を第1の画像と位置が一致するように変形させた変形画像の断面画像を表示するようにしてもよい。このとき、必要に応じて、第2の画像の変形画像と第1の画像との同一断面を連動させて表示したり、それらを重畳して表示したりしてもよい。あるいは、ステップS3020で得た位置合わせ結果に基づいて、第1の画像を第2の画像と位置が一致するように変形させた変形画像の断面画像を表示するようにしてもよい。これにより、第1の画像と第2の画像の比較をより簡便に行うことができる。なお、画像間の位置合わせ結果に基づく変形画像の生成方法は公知であるので説明は省略する。
(変形例5)
第1の実施形態では、第1の画像の取得と表示を行っていたが、第1の画像の取得と表示は必ずしも行わなくてもよい。この場合、第1の画像の表示は他の装置で代替してもよい。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 画像処理装置
110 画像取得部、 120 病変領域取得部、 130 位置合わせ部、 140 対応領域導出部、 145 注目領域設定部、 150 パラメータ設定部、 160 表示画像生成部、 170 表示制御部、 180 データサーバ、 190 表示部

Claims (16)

  1. 被検体に対して第1のモダリティで撮像された第1の画像における関心領域を取得する取得手段と、
    前記被検体に対して前記第1のモダリティと異なる第2のモダリティで撮像された第2の画像において、前記関心領域に対応する対応領域を導出する導出手段と、
    前記対応領域の画素情報または前記対応領域に関連する領域の画素情報に基づいて、前記第2の画像の表示パラメータを設定するパラメータ設定手段と、
    前記表示パラメータに基づいて前記第2の画像の表示画像を生成する生成手段と、
    前記表示画像の表示制御を行う表示制御手段と、
    を有することを特徴とする画像処理装置。
  2. 前記パラメータ設定手段は、さらに前記取得手段により取得された前記関心領域の画素情報にも基づいて、前記表示パラメータを設定することを特徴とする請求項1または2に記載の画像処理装置。
  3. 前記取得手段は、前記第1の画像において複数の関心領域を取得することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記取得手段は、1つの関心領域の中から更に1つ以上の関心領域を取得することを特徴とする請求項3に記載の画像処理装置。
  5. 前記導出手段は、前記複数の関心領域のうちのいずれかの関心領域を抽出し、該抽出した関心領域に対応する対応領域を導出することを特徴とする請求項3または4に記載の画像処理装置。
  6. 前記導出手段は、前記第1の画像に対する所見情報に基づいて、前記複数の関心領域うちのいずれかの関心領域を抽出することを特徴とする請求項5に記載の画像処理装置。
  7. 前記第2の画像において、前記対応領域に関連する注目領域を設定する注目領域設定手段をさらに有し、
    前記パラメータ設定手段は、前記注目領域に基づいて、前記表示パラメータを設定することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
  8. 前記注目領域は、前記対応領域の周辺の領域であることを特徴とする請求項7に記載の画像処理装置。
  9. 前記パラメータ設定手段は、前記対応領域と前記注目領域の画素情報に基づいて、前記表示パラメータを設定することを特徴とする請求項7または8に記載の画像処理装置
  10. 前記パラメータ設定手段は、前記注目領域と該注目領域以外の領域とで前記表示パラメータを異なるように設定することを特徴とする請求項7から9のいずれか1項に記載の画像処理装置。
  11. 前記パラメータ設定手段は、前記注目領域のコントラストが、該注目領域以外の領域より高くなるように前記表示パラメータを設定することを特徴とする請求項7から10のいずれか1項に記載の画像処理装置。
  12. 前記第1の画像と前記第2の画像との位置合わせ処理を行う位置合わせ手段をさらに有し、
    前記導出手段は、位置合わせされた前記第2の画像において、前記対応領域を導出することを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。
  13. 前記パラメータ設定手段は、ウィンドウ値とウィンドウ幅を含むことを特徴とする請求項1から12のいずれか1項に記載の画像処理装置。
  14. 被検体に対して第1のモダリティで撮像された第1の画像における関心領域を取得する取得工程と、
    前記被検体に対して前記第1のモダリティと異なる第2のモダリティで撮像された第2の画像において、前記関心領域に対応する対応領域を導出する導出工程と、
    前記対応領域の画素情報または前記対応領域に関連する領域の画素情報に基づいて、前記第2の画像の表示パラメータを設定するパラメータ設定工程と、
    前記表示パラメータに基づいて前記第2の画像の表示画像を生成する生成工程と、
    前記表示画像の表示制御を行う表示制御工程と、
    を有することを特徴とする画像処理方法。
  15. 被検体に対して第1のモダリティで撮像された第1の画像における関心領域を取得する取得手段と、
    前記被検体に対して前記第1のモダリティと異なる第2のモダリティで撮像された第2の画像において、前記関心領域に対応する対応領域を導出する導出手段と、
    前記対応領域の画素情報または前記対応領域に関連する領域の画素情報に基づいて、前記第2の画像の表示パラメータを設定するパラメータ設定手段と、
    前記表示パラメータに基づいて前記第2の画像の表示画像を生成する生成手段と、
    前記表示画像の表示制御を行う表示制御手段と、
    を有することを特徴とする画像処理システム。
  16. 請求項1乃至請求項13のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
JP2014259275A 2014-12-22 2014-12-22 画像処理装置、画像処理方法、画像処理システム、及びプログラム Active JP6448356B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014259275A JP6448356B2 (ja) 2014-12-22 2014-12-22 画像処理装置、画像処理方法、画像処理システム、及びプログラム
US14/970,752 US10692198B2 (en) 2014-12-22 2015-12-16 Image processing apparatus, image processing method, image processing system, and non-transitory computer-readable storage medium for presenting three-dimensional images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014259275A JP6448356B2 (ja) 2014-12-22 2014-12-22 画像処理装置、画像処理方法、画像処理システム、及びプログラム

Publications (3)

Publication Number Publication Date
JP2016116774A true JP2016116774A (ja) 2016-06-30
JP2016116774A5 JP2016116774A5 (ja) 2018-02-08
JP6448356B2 JP6448356B2 (ja) 2019-01-09

Family

ID=56130023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014259275A Active JP6448356B2 (ja) 2014-12-22 2014-12-22 画像処理装置、画像処理方法、画像処理システム、及びプログラム

Country Status (2)

Country Link
US (1) US10692198B2 (ja)
JP (1) JP6448356B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5400466B2 (ja) 2009-05-01 2014-01-29 キヤノン株式会社 画像診断装置、画像診断方法
JP6200249B2 (ja) 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
TWI509534B (zh) * 2014-05-12 2015-11-21 Univ Nat Taiwan 自動化計算大腦纖維連結強度的方法
JP6541334B2 (ja) 2014-11-05 2019-07-10 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6448356B2 (ja) * 2014-12-22 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム
WO2017132403A1 (en) 2016-01-26 2017-08-03 The Regents Of The University Of California Symplectomorphic image registration
JP6608110B2 (ja) * 2016-04-13 2019-11-20 富士フイルム株式会社 画像位置合わせ装置および方法並びにプログラム
WO2018165221A1 (en) 2017-03-06 2018-09-13 The Regents Of The University Of California Joint estimation with space-time entropy regularization
CN109493328B (zh) * 2018-08-31 2020-08-04 上海联影智能医疗科技有限公司 医学图像显示方法、查看设备以及计算机设备
JP7299046B2 (ja) * 2019-03-25 2023-06-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察制御装置及び医療用観察システム
US11131737B2 (en) 2019-06-04 2021-09-28 The Regents Of The University Of California Joint estimation diffusion imaging (JEDI)
CN111583177B (zh) * 2020-03-31 2023-08-04 杭州依图医疗技术有限公司 一种医学影像的显示方法及装置、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10137190A (ja) * 1996-11-13 1998-05-26 Toshiba Iyou Syst Eng Kk 医用画像処理装置
US20050065421A1 (en) * 2003-09-19 2005-03-24 Siemens Medical Solutions Usa, Inc. System and method of measuring disease severity of a patient before, during and after treatment
JP2005296627A (ja) * 2004-03-17 2005-10-27 Toshiba Corp 磁気共鳴イメージング装置及びその制御方法
JP2011103118A (ja) * 2009-10-14 2011-05-26 Carestream Health Inc 齲蝕病変領域を抽出するための方法
JP2012513278A (ja) * 2008-12-23 2012-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コントラストの定量化による音響映像に関する音響映像システム及び方法
JP2012223255A (ja) * 2011-04-15 2012-11-15 Toshiba Corp 医用画像表示装置
WO2013132402A2 (en) * 2012-03-08 2013-09-12 Koninklijke Philips N.V. Intelligent landmark selection to improve registration accuracy in multimodal image fusion
JP2014104097A (ja) * 2012-11-27 2014-06-09 Toshiba Corp ステージ判定支援システム
JP2014140679A (ja) * 2012-12-26 2014-08-07 Toshiba Corp 医用画像診断装置
JP2016073542A (ja) * 2014-10-08 2016-05-12 株式会社東芝 医用画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738529B1 (en) * 1996-10-09 2004-05-18 Symyx Technologies, Inc. Analysis of chemical data from images
US8265728B2 (en) * 2003-11-26 2012-09-11 University Of Chicago Automated method and system for the evaluation of disease and registration accuracy in the subtraction of temporally sequential medical images
JP4807824B2 (ja) 2005-07-07 2011-11-02 株式会社日立メディコ 医用画像診断システム
EP2206091A2 (en) * 2007-09-26 2010-07-14 Koninklijke Philips Electronics N.V. Visualization of anatomical data
JP4810562B2 (ja) 2008-10-17 2011-11-09 キヤノン株式会社 画像処理装置、画像処理方法
JP5647251B2 (ja) * 2009-09-29 2014-12-24 コーニンクレッカ フィリップス エヌ ヴェ 血管インターベンション手術のための正確な位置決め
US9058647B2 (en) * 2012-01-16 2015-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP2014054362A (ja) 2012-09-12 2014-03-27 Toshiba Corp 超音波診断装置、画像処理装置及びプログラム
JP6304970B2 (ja) 2013-08-09 2018-04-04 キヤノン株式会社 画像処理装置、画像処理方法
JP6200249B2 (ja) 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
JP6401459B2 (ja) 2014-02-14 2018-10-10 キヤノン株式会社 画像処理装置、画像処理方法
JP6541334B2 (ja) 2014-11-05 2019-07-10 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6448356B2 (ja) * 2014-12-22 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP6467221B2 (ja) 2014-12-22 2019-02-06 キヤノン株式会社 画像処理装置および方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10137190A (ja) * 1996-11-13 1998-05-26 Toshiba Iyou Syst Eng Kk 医用画像処理装置
US20050065421A1 (en) * 2003-09-19 2005-03-24 Siemens Medical Solutions Usa, Inc. System and method of measuring disease severity of a patient before, during and after treatment
JP2005296627A (ja) * 2004-03-17 2005-10-27 Toshiba Corp 磁気共鳴イメージング装置及びその制御方法
JP2012513278A (ja) * 2008-12-23 2012-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コントラストの定量化による音響映像に関する音響映像システム及び方法
JP2011103118A (ja) * 2009-10-14 2011-05-26 Carestream Health Inc 齲蝕病変領域を抽出するための方法
JP2012223255A (ja) * 2011-04-15 2012-11-15 Toshiba Corp 医用画像表示装置
WO2013132402A2 (en) * 2012-03-08 2013-09-12 Koninklijke Philips N.V. Intelligent landmark selection to improve registration accuracy in multimodal image fusion
JP2014104097A (ja) * 2012-11-27 2014-06-09 Toshiba Corp ステージ判定支援システム
JP2014140679A (ja) * 2012-12-26 2014-08-07 Toshiba Corp 医用画像診断装置
JP2016073542A (ja) * 2014-10-08 2016-05-12 株式会社東芝 医用画像処理装置

Also Published As

Publication number Publication date
US20160180526A1 (en) 2016-06-23
US10692198B2 (en) 2020-06-23
JP6448356B2 (ja) 2019-01-09

Similar Documents

Publication Publication Date Title
JP6448356B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
CN108324246B (zh) 医疗诊断辅助系统及方法
JP6971544B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10628930B1 (en) Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data
JP5592796B2 (ja) 定量3dceus分析のためのシステム及び方法
US20190057504A1 (en) Image Processor, Image Processing Method, And Image Processing Program
US9530205B2 (en) Polyp detection apparatus and method of operating the same
JP2011160882A (ja) 医用画像表示装置及び医用画像表示方法並びにプログラム
US20120321161A1 (en) Image processing apparatus, image processing method, image pickup system, and program
JP5698068B2 (ja) 画像処理装置、画像表示システム、放射線画像撮影システム、画像処理プログラム、及び画像処理方法
JP6445784B2 (ja) 画像診断支援装置、その処理方法及びプログラム
JP2015054051A (ja) 情報処理装置、情報処理方法
JP2010167042A (ja) 医用診断支援装置及びその制御方法、並びに、プログラム
JP2019514632A (ja) 超音波融合撮像システムにおけるプローブ誘導変形の補正
JP2016041245A (ja) 医用画像処理装置及び医用画像処理方法
JP6995535B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5314342B2 (ja) 画像を評価するための方法およびシステム
JP6934734B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
CN111275617B (zh) 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质
JP7409624B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20190236783A1 (en) Image processing apparatus, image processing method, and program
US20110242096A1 (en) Anatomy diagram generation method and apparatus, and medium storing program
US20170287174A1 (en) Methods and apparatuses for image processing and display
JP2018167127A (ja) 情報処理装置、情報処理方法
JP7086630B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181204

R151 Written notification of patent or utility model registration

Ref document number: 6448356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151