JP2015154913A - 画像処理装置、画像診断システム、画像処理方法およびプログラム - Google Patents

画像処理装置、画像診断システム、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2015154913A
JP2015154913A JP2014230104A JP2014230104A JP2015154913A JP 2015154913 A JP2015154913 A JP 2015154913A JP 2014230104 A JP2014230104 A JP 2014230104A JP 2014230104 A JP2014230104 A JP 2014230104A JP 2015154913 A JP2015154913 A JP 2015154913A
Authority
JP
Japan
Prior art keywords
image
imaging
subject
mri
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014230104A
Other languages
English (en)
Other versions
JP6489800B2 (ja
Inventor
遠藤 隆明
Takaaki Endo
隆明 遠藤
佐藤 清秀
Kiyohide Sato
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014230104A priority Critical patent/JP6489800B2/ja
Priority to CN201480072924.0A priority patent/CN105899144B/zh
Priority to US15/103,464 priority patent/US10074156B2/en
Priority to PCT/JP2014/084758 priority patent/WO2015107866A1/en
Priority to EP14878958.9A priority patent/EP3094259B1/en
Publication of JP2015154913A publication Critical patent/JP2015154913A/ja
Application granted granted Critical
Publication of JP6489800B2 publication Critical patent/JP6489800B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/18
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0048Detecting, measuring or recording by applying mechanical forces or stimuli
    • A61B5/0053Detecting, measuring or recording by applying mechanical forces or stimuli by applying pressure, e.g. compression, indentation, palpation, grasping, gauging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/43Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4312Breast evaluation or disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/70Means for positioning the patient in relation to the detecting, measuring or recording means
    • A61B5/708Breast positioning means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4417Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/502Clinical applications involving diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Abstract

【課題】被検体内における注目領域が適切に撮像されるように撮像領域を設定する。【解決手段】画像処理装置であって、第1の形状状態における被検体の医用画像を取得する医用画像取得部と、第1の形状状態から第2の形状状態への被検体の変形情報を取得する変形情報取得部と、第2の形状状態における被検体の撮像領域を設定する撮像領域設定部と、変形情報に基づいて変形させた医用画像を、撮像領域に合わせて変換して変換画像を生成する変形画像生成部と、変換画像と撮像領域とを重畳して表示画像を生成する表示画像生成部とを備える。【選択図】 図1

Description

本発明は、画像処理装置、画像診断システム、画像処理方法およびプログラムに関し、特に、種々の医用画像収集装置(モダリティ)で撮像した医用画像を処理する技術に関する。
近年、医療分野で光音響断層撮像装置(PAT(Photoacoustic Tomography)装置)が開発されている。PAT装置は、被検体に光パルスを照射することで被検体内の吸収物質を励起し、吸収物質の熱弾性膨張により生じる光音響信号を検出することで、被検体の光吸収に関わる性質を画像化する装置である。すなわち、照射光に対する被検体内の光エネルギー堆積量分布(光エネルギー吸収密度分布)が画像化される。また、これに基づき、照射波長に関する被検体の光吸収係数分布が画像化される。さらに、複数の波長に関する光吸収係数分布に基づいて、被検体を構成する物質の状態(例えばヘモグロビンの酸素飽和度など)を画像化することも可能である。これらの画像は、がんなどの腫瘍の内外に生じる新生血管に関する情報を可視化するものであると期待されている。以下では、これらの画像を総称して、光音響断層画像(PAT画像)と呼ぶ。
PAT装置は、エネルギーが小さい近赤外光パルスを照射するため、X線などと比べて被検体の深部の画像化が難しい。そこで、特許文献1では、乳房を被検体としたPAT装置の一形態として、乳房を2枚の平板(以下、保持板と呼ぶ)で保持して乳房の厚みを薄くした状態で撮像を行っている。
特許文献2では、被検体の体表をカメラで撮像した外観画像上に、X線照射野とX線検出野とを視覚的に識別可能な映像として重畳表示する技術が開示されている。
特開2010−88627号公報 特開2007−29353号公報
しかしながら、特許文献1または特許文献2の技術では、被検体の注目領域が被検体の体表ではなく体内に存在する場合には、体表上のマークを参考情報として用いたとしても、注目領域の範囲が正確には分からないため、撮像領域を適切に設定することが困難であるという課題がある。
上記の課題に鑑み、本発明は、被検体内における注目領域が適切に撮像されるように撮像領域を設定することを目的とする。
上記の目的を達成するための本発明の一様態による画像処理装置は以下の構成を備える。すなわち、
第1の形状状態における被検体の医用画像を取得する医用画像取得手段と、
前記第1の形状状態から第2の形状状態への前記被検体の変形情報を取得する変形情報取得手段と、
前記第2の形状状態における前記被検体の撮像領域を設定する撮像領域設定手段と、
前記変形情報に基づいて変形させた前記医用画像を、前記撮像領域に合わせて変換して変換画像を生成する変形画像生成手段と、
前記変換画像と前記撮像領域とを重畳して表示画像を生成する表示画像生成手段と、
を備えることを特徴とする。
本発明によれば、被検体内における注目領域が適切に撮像されるように撮像領域を設定することができる。
第1実施形態に係る画像診断システムおよび画像処理装置の機能構成を示す図。 被検体のMRI画像を示す模式図。 第1実施形態におけるPAT装置による撮像の様子を示す模式図。 被検体のPAT画像を示す模式図である。 第1実施形態に係る画像処理装置の処理手順を示すフローチャート。 変形後のMRI画像を示す模式図。 第1実施形態における表示画像の例を示す模式図。 第2実施形態に係る画像診断システムおよび画像処理装置の機能構成を示す図。 第2実施形態におけるPAT装置による撮像の様子を示す模式図。 PAT装置に搭載されたカメラで撮像された外観画像を示す模式図。 第2実施形態に係る画像処理装置の処理手順を示すフローチャート。 第2実施形態における表示画像の例を示す模式図。 第3実施形態に係る画像診断システムおよび画像処理装置の機能構成を示す図。 第3実施形態におけるPAT装置による撮像の様子を示す模式図。 第3実施形態に係る画像処理装置の処理手順を示すフローチャート。 第3実施形態における表示画像の例を示す模式図。 第3実施形態の変形例2におけるPAT装置に搭載されたカメラで撮像された外観画像を示す模式図。 第3実施形態の変形例2における表示画像の例を示す模式図。
以下、添付図面に従って本発明に係る画像処理装置の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
(第1実施形態;カメラ画像なし)
本実施形態に係る画像処理装置は、乳房を被検体としたPAT装置の撮像領域の設定を支援する。撮像状態として2枚の平板(保持板)で保持された乳房にMRI画像を変形位置合わせすることで変形MRI画像(変形画像)を生成し、変形MRI画像が表示された撮像領域設定画面上で撮像領域を設定する。以下、本実施形態に係る画像処理装置について説明する。
<画像診断システム1の構成>
図1は、本実施形態に係る画像診断システム1の構成を示す。画像診断システム1は、画像処理装置100と、第1医用画像撮像装置180と、第2医用画像撮像装置182と、表示部184と、データサーバ190とを有している。ただし、画像診断システム1の構成要素はこれらの装置等に限定されるものではなく、さらに別の構成要素を含んでもよいし、その一部が含まれないように構成してもよい。
第1医用画像撮像装置180はMRI装置であり、伏臥位の被検者の乳房を撮像する。ここで、図2は、第1医用画像撮像装置180によって撮像された乳房の3次元MRI画像を、被検者の頭尾方向に垂直な断面(アキシャル断面)でスライスしたときの2次元画像を示す模式図である。本実施形態では、MRI画像200中の一点を原点とし、被検者の右手から左手への方向を表す軸をX軸、被検者の正面から背面への方向を表す軸をY軸、被検者の足から頭への方向を表す軸をZ軸として定義した座標系を、MRI画像座標系C_MRIとする。
第2医用画像撮像装置182は光音響断層撮像装置(PAT装置)であり、後述する画像処理装置100の撮像領域設定部108により設定される撮像領域の範囲内に近赤外光パルスを照射することによって被検者の乳房を撮像する。ここで、図3は第2医用画像撮像装置182による撮像の様子を示す模式図である。図3に示すように、被検者300は第2医用画像撮像装置182の上面のベッドで伏臥位の体位をとる。そして、被検体である片側の乳房301を第2医用画像撮像装置182上面の開口部302に挿入する。このとき、照射光が乳房の内部まで届くように、乳房は透明な2枚の保持板(足側の保持板303および頭側の保持板304)により圧迫した状態で保持され、その厚みが薄くなった状態で撮像される。なお、本実施形態では、保持板303および保持板304はいずれも平板であり、乳房と接触する面(以下、保持面と呼ぶ)が平面であるものとする。
照射光である近赤外光パルスは、保持板303、304の平面に直交する方向から不図示の光源により照射される。そして、近赤外光パルスの照射に応じて体内で発生した光音響信号は、保持板303、304の平面に直交するように配置された不図示の超音波探触子により受信される。本実施形態では、PAT装置座標系C_PATを以下のように定義する。すなわち、保持板303、304に平行な平面をXY平面とし、被検者の右手から左手への方向を表す軸をX軸、被検者の正面から背面への方向を表す軸をY軸と定義する。また、保持板303、304の法線方向をZ軸とし、被検者の足から頭に向かう方向をZ軸の正方向と定義する。そして、保持板303の内側の平面上における右手側の下端位置を原点とする。図4は、第2医用画像撮像装置182によって撮像された乳房の3次元PAT画像を、人体の頭尾方向に垂直な断面(アキシャル断面)でスライスしたときの2次元画像400を示す模式図である。
表示部184は、撮像領域を設定するための撮像領域設定画面を備え、画像処理装置100が生成する表示画像を当該画面に表示する。データサーバ190は、第1医用画像撮像装置180によって伏臥位の被検者の乳房を撮像して得られた3次元のMRI画像200を保持しており、当該MRI画像200は、後述する画像処理装置100の医用画像取得部102を介して画像処理装置100へ入力される。
<画像処理装置100の機能ブロック構成>
画像処理装置100は、データサーバ190、第2医用画像撮像装置182、表示部184と接続されている。画像処理装置100は、医用画像取得部102と、変形情報取得部104と、変形画像生成部106と、撮像領域設定部108と、表示画像生成部110とを備えており、不図示のCPUによりプログラムを読み出して実行することにより各機能ブロックの動作が制御される。
医用画像取得部102は、画像処理装置100へ入力されるMRI画像200を取得し、当該MRI画像200を変形画像生成部106へ出力する。変形情報取得部104は、MRI画像200を撮像状態の乳房に変形位置合わせすることにより変形情報を算出して取得し、当該変形情報を変形画像生成部106へと出力する。
変形画像生成部106は、MRI画像200と変形情報とに基づいて、MRI画像200を撮像状態の乳房の形状に変形させた変形MRI画像を生成し、表示画像生成部110へ出力する。撮像領域設定部108は、表示部184の撮像領域設定画面上におけるユーザの入力に基づいて撮像領域を設定し、設定した撮像領域を第2医用画像撮像装置182および表示画像生成部110へ出力する。
表示画像生成部110は、変形MRI画像からMIP(Maximum Intensity Projection)画像(以下、変形MRI_MIP画像と呼ぶ)を生成し、生成した画像と撮像領域とに基づいて表示画像を生成して、表示部184へ出力する。なお、MIP画像は最大値投影画像とも呼ぶ。
なお、上記機能ブロックの構成はあくまでも一例であり、複数の機能ブロックが1つの機能ブロックを構成するようにしてもよいし、何れかの機能ブロックが更に複数の機能ブロック分かれて構成されてもよい。
<画像処理装置100が実施する処理>
次に、図5のフローチャートを参照して、本実施形態に係る画像処理装置100が実施する処理の手順について説明する。
[S5000;MRI画像の取得]
ステップS5000において、医用画像取得部102は、データサーバ190から画像処理装置100へと入力される、伏臥位の乳房のMRI画像200を取得する。なお、本実施形態では、MRI画像200中における乳頭位置が予め指定されているものとする。
[S5010;変形情報の取得]
ステップS5010において、変形情報取得部104は、MRI画像を撮像状態の乳房の形状に変形させるための変形情報を算出する。本実施形態では、MRI画像に対して物理変形シミュレーションを施すことによって、保持前の状態(第1の形状状態、MRI中の状態)から保持後の状態(第2の形状状態、撮像状態)への変形を表す変形関数F(x,y,z)を求め、該変形関数を変形情報として用いるものとする。変形関数F(x,y,z)は、例えば、非特許文献1に開示されている物理変形シミュレーション技術を用いて算出することができる。非特許文献1は、Angela Lee,et al."Breast X−ray and MR image fusion using finite element modeling,"Proc.Workshop on Breast Image Analysis in conjuction with MICCAI 2011,pp.129−136,2011.である。なお、非特許文献1には、平板圧迫された乳房を撮像したX線マンモグラフィ画像と乳房のMRI画像を物理変形シミュレーションによって位置合わせする技術が開示されている。
なお、本実施形態では、PAT装置座標系C_PATとMRI画像座標系C_MRIとにおける被検者の姿勢が略一致しているものと仮定する。すなわち、2枚の保持板303、304により、MRI画像座標系C_MRIにおけるZ軸方向に沿って乳房が圧縮されるものとする。また、物理変形シミュレーションの際に、2枚の保持板間の距離(保持後の乳房の厚み)dの計測値が第2医用画像撮像装置182から入力されるものとする。そして、保持前と保持後における乳頭位置が同一となるように変形関数F(x,y,z)を算出するものとする。
[S5020;剛体変換の算出]
ステップS5020において、変形画像生成部106は、MRI画像座標系C_MRIとPAT装置座標系C_PATとの間の剛体変換を求める。すなわち、MRI画像座標系C_MRIからPAT装置座標系C_PATへの座標変換行列T_MtoPを導出する。なお、T_MtoPを含め、以降で説明する座標変換行列は全て座標系の並進と回転を表す4×4行列であるものとする。本実施形態では、PAT装置座標系C_PATとMRI画像座標系C_MRIにおける被検者の姿勢が略一致していると仮定しており、MRI画像座標系C_MRIからPAT装置座標系C_PATへの座標変換を並進のみで記述できるものとする。この仮定の下で、ステップS5000で取得したMRI画像中における乳頭位置が、PAT装置座標系C_PATにおける被検者の乳頭位置と一致するように、T_MtoPの並進成分を算出する。
ここで、PAT装置座標系C_PATにおける乳頭位置は、例えば、第2医用画像撮像装置182の開口部302の下方から乳房を計測可能な位置に設置された不図示の距離計測装置を用いて取得することができる。すなわち、距離計測装置で乳房の距離画像を撮像し、その画像中の乳頭位置を不図示のマウスやキーボードなどを用いてユーザが手動で指定することによって、PAT装置座標系C_PATにおける乳頭位置を取得することができる。その際に、距離計測装置はPAT装置座標系C_PATにおいて校正済みであるものとする。なお、PAT装置座標系C_PATにおける乳頭位置は、距離計測装置に限らず、例えばデジタイザやステレオカメラ等の、3次元位置を計測可能な装置や手段を用いて取得してもよい。
[S5030;変形画像の生成]
ステップS5030において、変形画像生成部106は、MRI画像200に基づいて、撮像状態の乳房の形状に変形された変形MRI画像を生成する。具体的には、ステップS5010で取得した変形関数F(x,y,z)を用いてMRI画像200に変形処理を施した上で、ステップS5030で算出した剛体変換(座標変換行列T_MtoP)を用いてPAT装置座標系C_PATに変換する。その結果として、PAT装置座標系C_PATにおける変形MRI画像が生成される。ここで図6は、変形MRI画像をアキシャル断面でスライスしたときの2次元画像を示す模式図である。図6に示すように、600は変形MRI画像、601は変形後の乳房領域、602は変形前の乳房形状を表す。また、603は、変形MRI画像中の腫瘍を表す。変形後の乳房領域601と変形前の乳房形状602とを比較すると、PAT装置座標系C_PATにおけるZ軸方向への圧迫により、XY平面において乳房領域が伸長し、Z軸方向に圧縮されていることがわかる。
[S5035;MIP画像(変換画像)の生成]
ステップS5035において、変形画像生成部106は、撮像領域に合わせて変換した変換画像を生成する。すなわち、変形画像生成部106は、撮像領域を設定するための空間に合わせて変換した変換画像を生成する。具体的には、変形画像生成部106は、表示部184の撮像領域設定画面に表示するために、変形MRI_MIP画像を撮像領域に合わせて変換し、変換画像を生成する。例えば、ステップS5030で生成された変形MRI画像600に基づいて、PAT装置座標系C_PATにおけるZ軸方向の画素値の最大値をXY平面(Z=0)上に投影することによって、図7に示すような変形MRI_MIP画像700を生成する。
[S5040;撮像領域の初期設定]
ステップS5040において、撮像領域設定部108は、第2医用画像撮像装置182の撮像領域の初期設定を行う。例えば、第2医用画像撮像装置182によって撮像可能な範囲の全体を含む長方形を撮像領域の初期値として設定する。本実施形態では、撮像領域をPAT装置座標系C_PATにおいて設定するものとする。
[S5050;表示画像の生成]
ステップS5050において、表示画像生成部110は、ステップS5035で生成した変形MRI_MIP画像700上に、図7に示すような撮像領域703を重畳した表示画像を生成し、表示部184へ出力する。
ここで、撮像領域703は、図7に示すように枠線で表示してもよいし、領域の内部を所定の色やテクスチャを用いて所定の透過度で塗りつぶしてもよい。さらに、不図示のマウスやキーボードなどを用いて、枠線の種類、塗りつぶしの色やテクスチャ、透過度などをユーザが調整できるようにしてもよい。
[S5060;終了判定]
ステップS5060において、画像処理装置100は、撮像領域の設定処理を終了するか否かの判定を行う。例えば、不図示のモニタ上に配置された終了ボタンを操作者が不図示のマウスでクリックするなどして、終了の判定を入力する。終了すると判定した場合には、ステップS5080へと処理を進める。一方、終了しないと判定した場合には、ステップS5070へと処理を進める。
[S5070;撮像領域の調整]
ステップS5070において、撮像領域設定部108は、ユーザ操作に基づいて、表示画像上で第2医用画像撮像装置182の撮像領域を調整する。具体的には、表示部184の撮像領域設定画面に表示された画像上で、不図示のマウスやキーボードなどを用いて、設定された撮像領域703(2次元の矩形領域)の範囲をユーザが手動で調整する。撮像領域703は、表示された画像上でユーザが視認した情報に基づき、例えば腫瘍704の全体が含まれるようにユーザが調整する。その後、ステップS5050に戻る。
[S5080;撮像領域の出力]
ステップS5080において、撮像領域設定部108は、第2医用画像撮像装置182へと撮像領域を出力する。なお、ステップS5010で算出した変形情報の誤差を考慮して、ユーザが指定した撮像領域703に対して第2医用画像撮像装置182へと出力する撮像領域を大きめに調整してもよい。例えば、所定の値をマージンとして付加することができる。また、ステップS5010で算出する変形情報の中に変形情報を算出する際の誤差に関する情報(例えば位置合わせの残差)も含まれるものとし、その誤差に関する情報に基づいて、付加するマージンを定めてもよい。その際に、表示画像生成部110へと出力する撮像領域は大きめに調整せずに、第2医用画像撮像装置182へと出力する撮像領域のみを大きめに調整してもよい。以上のようにして、画像処理装置100の一連の処理が実施される。
以上説明したように、本実施形態に係る画像処理装置100は、第1の形状状態(非保持状態)における被検体(例えば、乳房)の医用画像(MRI画像200)を取得する医用画像取得部102と、第1の形状状態(非保持状態)から第2の形状状態(保持板303、304により被検体が保持された保持状態)への被検体の変形情報を取得する変形情報取得部104と、第2の形状状態における被検体の撮像領域(撮像領域703)を設定する撮像領域設定部108と、変形情報に基づいて変形させた医用画像(変形MRI画像600)を、撮像領域(撮像領域703)に合わせて変換して変換画像(変形MRI_MIP画像700)を生成する変形画像生成部106と、変換画像(変形MRI_MIP画像700)と撮像領域(撮像領域703)とを重畳して表示画像を生成する表示画像生成部110とを備える。
これにより、本実施形態に係る画像処理装置は、PAT画像の撮像領域を設定する際に、被検体内における腫瘍等の注目領域が描出されているMRI画像を参照することができる。そのため、被検体内における腫瘍等の注目領域が適切に撮像されるように撮像領域を設定することができる。
なお、本実施形態では、人体の乳房を被検体とする場合を例として説明したが、本発明の実施はこれに限らず、任意の被検体であってもよい。
<第1実施形態の変形例1>
本実施形態では、変換画像として、変形MRI_MIP画像を生成する場合を例として説明したが、本発明の実施形態はこれに限らず、例えば、変形MRI画像のアキシャル断面(XY平面)を変換画像として生成してもよい。その際に、腫瘍704を含むアキシャル断面を選択して表示してもよいし、Z=0とZ=d(保持後の平板間の距離)の間のアキシャル断面を順次表示して、腫瘍704の全体が含まれているかどうかを確認できるようにしてもよい。また、変形MRI画像のアキシャル断面に限らず、サジタル断面(YZ平面)やコロナル断面(XZ平面)を変換画像として生成し、その上で撮像領域の設定や確認ができるようにしてもよい。さらに、変形MRI画像のアキシャル断面、サジタル断面、コロナル断面に限らず、曲断面を含む任意の断面で撮像領域を確認できるようにしてもよい。また、本変形例における断面画像は、断面から所定の範囲内における画素値の最大値を断面上に投影したMIP画像(スラブMIP画像)であってもよい。
<第1実施形態の変形例2>
本実施形態では、2次元の変形MRI_MIP画像と2次元の撮像領域に基づいて表示画像を生成する場合を例として説明したが、本発明の実施形態はこれに限らない。例えば、3次元の変形MRI画像のボリュームレンダリング画像を変換画像として生成し、3次元の撮像領域を重畳した表示画像を生成して、任意の視線方向から観察できるようにしてもよい。すなわち、変形画像生成部106は、被検体の形状状態における医用画像のボリュームレンダリング画像または最大値投影画像(MIP画像)を、変換画像として生成することができる。なお、3次元の撮像領域は、例えば、PAT装置座標系C_PATにおけるZ=0の2次元平面上の撮像領域(矩形領域)を、Z=0からZ=dまで押し出すことで形成される直方体の領域として設定することができる。
<第1実施形態の変形例3>
本実施形態では、第1医用画像撮像装置180としてMRI装置を用いる場合を例として説明したが、本発明の実施形態はこれに限らない。例えば、X線CT装置、PET/SPECT装置、3次元超音波装置などを用いることができる。また、その他の何れのモダリティであってもよい。これらのモダリティを用いる場合には、平板圧迫変形の推定のみならず、撮像体位が異なることによる変形(例えば仰臥位から伏臥位への重力変形)の推定も行って、変形関数F(x,y,z)を求めておけばよい。なお、仰臥位から伏臥位への重力変形の推定には、例えば非特許文献2に開示されている、重力変形シミュレーションに基づく手法を用いることができる。非特許文献2は、Y.Hu,et al."A statistical motion model based on biomechanical simulations,"Proc.MICCAI 2008,Part I,LNCS 5241,pp.737−744,2008.である。また、第1医用画像撮像装置180と第2医用画像撮像装置182は同一の撮像装置であってもよい。また、本実施形態では、第2医用画像撮像装置182としてPAT装置を用いる場合を例として説明したが、本発明の実施の形態はこれに限らない。例えば、X線マンモグラフィ装置や超音波診断装置であってもよく、それ以外の何れのモダリティであってもよい。
<第1実施形態の変形例4>
本実施形態では、変形MRI画像600を生成した上で、それに基づいて変形MRI_MIP画像を生成する場合を例として説明したが、本発明の実施形態はこれに限らない。例えば、変形MRI画像600は生成せずに、MRI画像200と変形情報とに基づいて変形MRI_MIP画像を生成してもよい。
(第2実施形態;カメラ画像あり)
本実施形態に係る画像処理装置は、PAT装置に搭載されたカメラで乳房の外観を撮像し、その画像(以下、外観画像と呼ぶ)上で撮像領域を設定する構成のPAT装置において、撮像領域の設定を支援する。すなわち、撮像状態の乳房に合わせてMRI画像を変形させることによって、撮像状態の乳房の外観画像上において乳房の内部(腫瘍等の注目領域を含む)が透けて見えるような画像を生成し、その画像が表示された撮像領域設定画面上で撮像領域を設定可能とする。
本実施形態では、外観画像にMRI画像を変形位置合わせする、すなわち平板圧迫変形を推定することによって、変形MRI画像を生成する。また、本実施形態では外観画像上でPAT画像の撮像に適さない領域(不適切領域)を設定する。以下、本実施形態に係る画像処理装置について、第1実施形態との相違部分を中心に説明する。
<画像診断システム8の構成>
図8は、本実施形態に係る画像診断システム8の構成を示す。なお、図1と同じ機能を有する処理部については同じ番号、記号を付けており、その説明を省略する。
画像診断システム8は、画像処理装置800と、第1医用画像撮像装置180と、第2医用画像撮像装置882と、表示部184と、データサーバ190とを有している。
第2医用画像撮像装置882には、第1実施形態で図3を参照して説明した第2医用画像撮像装置182の構成に加えて、さらに乳房の外観画像を撮像するためのカメラが搭載されている。ここで図9は、第2医用画像撮像装置882による撮像の様子を示す模式図である。図9の905は保持板303を通して足側から乳房の外観を撮像可能な位置に設置されたカメラであり、C_CAMは、カメラ905の焦点位置を原点とするカメラ座標系である。ここで、カメラ905はPAT装置座標系C_PATにおいて校正済みであるものとする。そして、カメラ校正により求められた、カメラ座標系C_CAMからPAT装置座標系C_PATへの座標変換行列T_CtoPおよびカメラ内部パラメータは、既知の情報として画像処理装置800が保持しているものとする。
また図10は、カメラ905によって撮像された乳房の外観画像1000を示す模式図である。本実施形態では、外観画像1000の右下端を外観画像座標系C_IMGの原点とし、Z=0平面上に外観画像1000が位置するものとする。なお、カメラ座標系C_CAMから外観画像座標系C_IMGへの変換には、一般的な手法を用いることができるため、説明を省略する。
<画像処理装置800の機能ブロック構成>
画像処理装置800は、データサーバ190、第2医用画像撮像装置882、表示部184と接続されている。画像処理装置800は、医用画像取得部102と、変形情報取得部804と、変形画像生成部106と、撮像領域設定部808と、表示画像生成部810と、外観画像取得部812と、不適切領域設定部814とを備えている。
変形情報取得部804は、外観画像1000にMRI画像200を変形位置合わせすることによって変形情報を取得し、変形画像生成部106へ出力する。
撮像領域設定部808は、表示部184の撮像領域設定画面上で撮像領域を設定し、設定した撮像領域を第2医用画像撮像装置882および表示画像生成部810へ出力する。
表示画像生成部810は、変形MRI画像600から変形MRI_MIP画像を生成し、生成した画像と、外観画像1000と、図10に示すようなPAT画像の撮像に適さない不適切領域1001と撮像領域とに基づいて表示画像を生成して、表示部184へ出力する。
外観画像取得部812は、画像処理装置800へと入力される外観画像を取得し、不適切領域設定部814、変形情報取得部804、および撮像領域設定部808へ出力する。
不適切領域設定部814は、表示部184の撮像領域設定画面に表示された外観画像上でPAT画像の撮像に適さない領域(不適切領域)を設定して、撮像領域設定部808へ出力する。
なお、上記機能ブロックの構成はあくまでも一例であり、複数の機能ブロックが1つの機能ブロックを構成するようにしてもよいし、何れかの機能ブロックが更に複数の機能ブロック分かれて構成されてもよい。
<画像処理装置800が実施する処理>
次に、図11のフローチャートを参照して、本実施形態に係る画像処理装置800が実施する処理の手順について説明する。
本実施形態では、図5を参照して説明した第1実施形態に係る画像処理装置100が実施する処理と比較して、ステップS11000の処理とステップS11010の処理との間にステップS11002およびステップS11004が存在する点が異なる。また、ステップS5010、ステップS5035からステップS5050まで、およびステップS5070の処理の代わりに、それぞれステップS11010、ステップS11035からステップS11050まで、およびステップS11070の処理が行われる点が異なる。以下、これらの各ステップの処理を中心に説明する。なお、ステップS11000、ステップS11020、ステップS11030、ステップS11060、およびステップS11080の処理は、それぞれステップS5000、ステップS5020、ステップS5030、ステップS5060、およびステップS5080の処理と同様であるため、説明を省略する。
[S11002;外観画像の取得]
ステップS11002において、外観画像取得部812は、第2医用画像撮像装置882から画像処理装置100へと入力される、被検者の乳房の外観画像1000を取得する。
[S11004;不適切領域の設定]
ステップS11004において、不適切領域設定部814は、外観画像1000を表示部184の撮像領域設定画面に表示し、表示された画像上で、PAT画像の撮像に適さない不適切領域を設定する。本実施形態では、例えば乳房が適切に圧迫されていない等の理由により、PAT画像を適切に撮像できないことが想定される領域を、不適切領域として設定する。例えば、図10における点線と実線の間の領域である1001が不適切領域を表す。このような不適切領域は、不図示のマウスやキーボードなどを用いて、ユーザが手動で設定することができる。または、画像処理等を用いて自動で設定してもよい。
[S11010;変形情報の取得]
ステップS11010において、変形情報取得部804は、MRI画像を撮像状態の乳房の形状に変形させるための変形情報を取得する。本実施形態では、外観画像1000にMRI画像200を変形位置合わせすることによって変形関数(x,y,z)を求め、該変形関数を変形情報として用いるものとする。この位置合わせには、例えば非特許文献3に開示されている、MRI画像に対して平板圧迫による物理変形シミュレーションを施して得られる変形後の乳房形状を、X線マンモグラフィ画像から抽出した乳房の2次元形状に基づいて評価する技術を用いることができる。非特許文献3は、C.Tanner,et al."Breast Shapes on Real and Simulated Mammograms,"Proc.Int.Workshop on Digital Mammography 2010(IWDM 2010),LNCS 6136,pp.540−547,2010.である。
[S11035;MIP画像の生成]
ステップS11035において、表示画像生成部810は、撮像領域を設定するための空間(外観画像の平面)に合わせて変換した変換画像を生成する。まず、ステップS11030で生成されたPAT装置座標系C_PATにおける変形MRI画像600を、カメラ座標系C_CAMに変換した上で、外観画像座標系C_IMGに変換する。次に、外観画像座標系C_IMGのZ軸方向における画素値の最大値をXY平面(Z=0)上に投影することによって、外観画像座標系C_IMGにおける変形MRI_MIP画像1201を変換画像として生成する(図12参照)。
[S11040;撮像領域の初期設定]
ステップS11040において、撮像領域設定部808は、第2医用画像撮像装置882の撮像領域の初期設定を行う。例えば、第2医用画像撮像装置882によって撮像可能な範囲の全体を含む長方形を撮像領域の初期値として設定する。本実施形態では、撮像領域を外観画像座標系C_IMGにおいて設定するものとする。
次に、外観画像座標系C_IMGにおける撮像領域の初期値に基づいて、PAT装置座標系C_PATにおける撮像領域を求める。例えば、設定された撮像領域の4頂点を、カメラ座標系C_CAMにおける4点に変換した上で、それら4点とカメラ座標系における原点とを結ぶ4直線と保持板303との4つの交点を求め、PAT装置座標系C_PATにおける4点に変換する。そして、それらの4点に外接する矩形を、PAT装置座標系C_PATにおける撮像領域1203とする(図12参照)。
[S11050;表示画像の生成]
ステップS11050において、表示画像生成部810は、外観画像1000上に、ステップS11035で生成した変形MRI_MIP画像1201、不適切領域1001、および撮像領域1203を重畳した表示画像を生成し、表示部184へ出力する。この場合、撮像領域を設定するための空間は外観画像1000の平面となる。なお、不適切領域1001は重畳しなくても構わない。すなわち、表示画像生成部810は、外観画像1000と変換画像(変形MRI_MIP画像1201)と撮像領域1203とを重畳して表示画像を生成してもよい。
なお、変形MRI_MIP画像1201は、外観画像1000の上に半透明に重ね合わせてもよいし、透過度0%で重ね合わせてもよい。または、不図示のマウスやキーボードなどを用いてユーザが透過度を調整できるようにしてもよい。
[S11070;撮像領域の調整]
ステップS11040において、撮像領域設定部808は、第2医用画像撮像装置882の撮像領域を調整する。具体的には、まず、表示部184の撮像領域設定画面に表示された画像上で、例えば不図示のマウスやキーボードなどを用いて、設定された撮像領域1203(2次元の矩形領域)の範囲をユーザが手動で調整する。撮像領域1203は、例えば腫瘍1202の全体が含まれるようにユーザが調整する。そして、外観画像座標系C_IMGにおける撮像領域1203に基づいて、PAT装置座標系C_PATにおける撮像領域を、ステップS11040と同様の処理によって求める。その後、ステップS11050に戻る。以上のようにして、画像処理装置800の一連の処理が実施される。
以上説明したように、本実施形態に係る画像処理装置は、PAT画像の撮像領域を設定する際に、MRI画像と乳房の外観画像を併せて参照することができる。これにより、被検体の腫瘍等の注目領域がより適切に撮像されるように撮像領域を設定することができる。
<第2実施形態の変形例1>
本実施形態では、保持板303を通して足側から乳房の外観を撮像可能な位置にカメラ905を設置する場合について説明したが、本発明の実施形態はこれに限らない。例えば、保持板304を通して頭側から乳房の外観を撮像可能な位置や、側面から乳房の外観を撮像可能な位置などに設置してもよい。また、カメラの設置台数は1台に限らず複数台でもよく、その際に、各カメラで撮像した外観画像の夫々に対して表示画像を生成してもよい。
<第2実施形態の変形例2>
本実施形態では、不適切領域および撮像領域を外観画像座標系C_IMGにおける画像上で設定する場合を例に説明したが、本発明の実施形態はこれに限らず、PAT装置座標系C_PATにおける画像上で設定してもよい。その場合には、外観画像1000および不適切領域1001を、例えば保持板303の4隅の4点の平面射影変換によって外観画像座標系C_IMGからカメラ座標系C_CAMに変換した上で、さらにPAT画像座標系C_PATに変換すればよい。なお、本実施形態においても、第1実施形態と同様の変形例をとることができる。
(第3実施形態)
第1および第2実施形態では、第2医用画像撮像装置182として、2枚の平板で被検体を保持する方式のPAT装置を用いる場合を例として説明したが、本発明の実施形態はこれに限らず、何れの保持方式であってもよい。本実施形態では、被検体を2つの保持部材で挟みこむのではなく、1つの保持部材を体に押し付けることで、被検体が薄くなるように圧迫して保持する方式のPAT装置を用いる場合について説明する。特に、保持部材として伸縮性の保持膜を用いる場合について説明する。以下、本実施形態に係る画像処理装置について、第1実施形態との相違部分を中心に説明する。
<画像診断システム13の構成>
図13は、本実施形態に係る画像診断システム13の構成を示す。なお、図1と同じ機能を有する処理部については同じ番号、記号を付けており、その説明を省略する。
画像診断システム13は、画像処理装置1300と、第1医用画像撮像装置180と、第2医用画像撮像装置1382と、表示部184と、データサーバ190とを有している。
第2医用画像撮像装置1382は光音響断層撮像装置(PAT装置)であり、後述する画像処理装置1300の撮像領域設定部108により設定される撮像領域の範囲内に近赤外光パルスを照射することによって被検者の乳房を撮像する。ここで、図14は第2医用画像撮像装置1382による撮像の様子を示す模式図である。被検者は第2医用画像撮像装置1382の上面1402のベッドで伏臥位の体位をとる。そして、被検体である片側の乳房1401を第2医用画像撮像装置1382の上面1402の開口部1403に挿入する。このとき、乳頭から大胸筋に向かう方向の照射光が乳房の内部まで届くように、乳房は透明な保持膜1404により乳頭から大胸筋に向かう方向に圧迫した状態で保持され、その厚みが薄くなった状態で撮像される。ここで、保持膜1404は一定の張力を有しており、乳房1401を挿入する以前は平面状の形状となっている。そして、挿入した乳房1401からの圧力を受けることによって、保持膜1404は変形して撓んだ状態となる。すなわち、本実施形態では、乳房と接触する面(保持面)は曲面となる。
第2医用画像撮像装置1382は、照射部1408と超音波探触子1405からなる撮像ユニット1409を備えている。撮像ユニット1409は、該撮像ユニットの上部(撮像ユニット1409からみて上面1402に直交する方向)が撮像されるように、可動ステージ1407に装着されている。照射部1408は、照射光である近赤外光パルスを、被検体に向けて照射する。そして、超音波探触子1405は、近赤外光パルスの照射に応じて被検体内で発生した光音響信号を受信する。すなわち、第2医用画像撮像装置1382は、可動ステージ1407によって撮像ユニット1409を撮像領域の範囲内で移動(スキャン)させながら、撮像領域の範囲内の被検体の撮像を行う。本実施形態では、PAT装置座標系C_PATを以下のように定義する。すなわち、上面1402に平行な平面をXZ平面とし、被検者の右手から左手への方向を表す軸をX軸、被検者の足から頭に向かう方向を表す軸をZ軸と定義する。また、上面1402の法線方向をY軸とし、被検者の正面から背面に向かう方向をY軸の正方向と定義する。そして、上面1402における右手側の下端位置を原点とする。
<画像処理装置1300の機能ブロック構成>
画像処理装置1300は、データサーバ190、第2医用画像撮像装置1382、表示部184と接続されている。画像処理装置1300は、医用画像取得部102と、変形情報取得部1304と、変形画像生成部1306と、撮像領域設定部108と、表示画像生成部110とを備えている。
変形情報取得部1304は、MRI画像200を保持膜1404により圧迫された状態の乳房に変形位置合わせすることにより変形情報を算出して取得し、当該変形情報を変形画像生成部1306へと出力する。
変形画像生成部1306は、MRI画像200と変形情報とに基づいて、MRI画像200を保持膜1404により圧迫された状態の乳房の形状に変形させた変形MRI画像を生成し、表示画像生成部110へ出力する。
<画像処理装置1300が実施する処理>
次に、図15のフローチャートを参照して、本実施形態に係る画像処理装置1300が実施する処理の手順について説明する。本実施形態に係る画像処理装置1300が実施する処理は、図5を参照して説明した第1実施形態に係る画像処理装置100が実施する処理と比較して、ステップS15010、ステップS15030、およびステップS15035の処理が、対応するステップS5010、ステップS5030、およびステップS5035の処理と異なっている。
[S15010;変形情報の取得]
ステップS15010において、変形情報取得部1304は、MRI画像200を保持膜1404により圧迫された状態の乳房の形状に変形させるための変形情報を算出する。本実施形態では、PAT装置座標系C_PATとMRI画像座標系C_MRIとにおける被検者の姿勢が略一致しているものと仮定する。すなわち、保持膜1404により、MRI画像座標系C_MRIにおけるY軸方向に概ね沿って乳房が圧縮されるものとする。また、物理変形シミュレーションの際に、乳房1401の外形形状およびMRI画像200における大胸筋の形状を入力するものとする。
ここで、PAT装置座標系C_PATにおける乳房1401の外形形状は、例えば、第2医用画像撮像装置1382における乳房を計測可能な位置に設置された1つ以上の距離計測装置1406を用いて取得することができる(図14の例では距離計測装置1406A、1406B)。すなわち、距離計測装置1406で乳房の距離画像を撮像し、その画像中の乳房領域を不図示のマウスやキーボードなどを用いてユーザが手動で指定することによって、乳房1401の外形形状を取得することができる。その際に、距離計測装置1406はPAT装置座標系C_PATにおいて校正済みであるものとする。ここで、PAT装置座標系C_PATにおける乳頭位置も、距離計測装置1406を用いて取得することができる。なお、乳房1401の外形形状の代わりに、距離計測装置1406を用いて保持膜1404の形状を取得して用いてもよい。
また、MRI画像座標系C_MRIにおける大胸筋の形状は、MRI画像200に対して、公知の画像解析手法を適用したり、不図示のマウスやキーボードなどを用いてユーザが手動で指定したりすることによって、取得することができる。
[S15030;変形画像の生成]
ステップS15030において、変形画像生成部1306は、MRI画像200に基づいて、保持膜1404により圧迫された状態の乳房の形状に変形された変形MRI画像を生成する。変形前後の乳房形状を比較すると、PAT装置座標系C_PATにおけるY軸方向への圧迫により、XZ平面において乳房領域が伸長し、Y軸方向に圧縮されることになる。
[S15035;Y軸方向MIP画像(変換画像)の生成]
ステップS15035において、変形画像生成部1306は、撮像領域に合わせて変換した変換画像を生成する。例えば、ステップS15030で生成された変形MRI画像に基づいて、PAT装置座標系C_PATにおけるY軸方向の画素値の最大値をXZ平面(Y=0)上に投影することによって、図16に示すような変形MRI_MIP画像1600を生成する。
[S15050;表示画像の生成]
ステップS15050において、表示画像生成部110は、ステップS15035で生成したY軸方向に沿った変形MRI_MIP画像1600上に、図16に示すような撮像領域1603を重畳した表示画像を生成し、表示部184へ出力する。
[S15070;撮像領域の調整]
ステップS15070において、撮像領域設定部108は、ユーザ操作に基づいて、表示画像上で第2医用画像撮像装置1382の撮像領域を調整する。具体的には、表示部184の撮像領域設定画面に表示された画像上で、不図示のマウスやキーボードなどを用いて、設定された撮像領域1603(2次元の矩形領域)の範囲をユーザが手動で調整する。撮像領域1603は、表示された画像上でユーザが視認した情報に基づき、例えば腫瘍1304の全体が含まれるようにユーザが調整する。なお、1604は変形MRI_MIP画像中の腫瘍を示し、1605は変形MRI_MIP画像中の乳頭を示している。その後、ステップS15050に戻る。
以上説明したように、本実施形態に係る画像処理装置1300は、第1の形状状態(非保持状態)における被検体(例えば、乳房)の医用画像(MRI画像200)を取得する医用画像取得部102と、第1の形状状態(非保持状態)から第2の形状状態(保持膜1404により被検体が保持された保持状態)への被検体の変形情報を取得する変形情報取得部1304と、第2の形状状態における被検体の撮像領域を設定する撮像領域設定部108と、変形情報に基づいて変形させた医用画像を、撮像領域に合わせて変換して変換画像(変形MRI_MIP画像)を生成する変形画像生成部1306と、変換画像(変形MRI_MIP画像)と撮像領域とを重畳して表示画像を生成する表示画像生成部110とを備える。
これにより、本実施形態に係る画像処理装置は、PAT画像の撮像領域を設定する際に、被検体内における腫瘍等の注目領域が描出されているMRI画像を参照することができる。そのため、被検体内における腫瘍等の注目領域が適切に撮像されるように撮像領域を設定することができる。また、本実施形態によれば、両側から乳房を圧迫する構成に比べて、被検者の負担を軽減することができる。
<第3実施形態の変形例1>
本実施形態では、1枚の保持膜により被検体が薄くなるように圧迫して保持する場合を例として説明したが、本発明の実施形態はこれに限らない。例えば、保持部材としてアーチ状や盥状の形状の容器(保持容器とする)を当てることで、乳房が薄くなるように保持する構成であってもよい。保持容器の形状が既知である場合には、保持容器の形状に合わせて、MRI画像中の被検体の形状が一致するようにMRI画像の変形を推定すればよい。また、保持容器の形状が未知の場合や、保持容器と被検体の間にマッチング剤やマッチング液が存在する場合には、距離計測装置で取得した乳房側面の外形形状に合わせてMRI画像の変形を推定してもよい。また、平面状の保持板を乳頭方向から押し当てて保持する保持形態であってもよい。この場合には、距離計測装置で取得した乳房側面の外形形状と平面の形状を組み合わせて、乳房の外形形状とすればよい。
<第3実施形態の変形例2>
本実施形態では、第1実施形態と同様に変形MRI画像が表示された撮像領域設定画面上で撮像領域を設定する場合を例に説明したが、第2実施形態と同様にPAT装置に搭載されたカメラで撮像した乳房の外観画像上で撮像領域を設定してもよい。このカメラは、例えば保持膜1204を通して被検者の正面側から乳房の外観を撮像可能な位置に設置し、PAT装置座標系C_PATにおいて校正すればよい。図17は、カメラによって被検者の正面側から撮像された乳房の外観画像1700を示す模式図である。CIMGは外観画像座標系、1701は外観画像中の開口部1703、1705は外観画像中の乳頭を示している。
本変形例では、Y=0のXZ平面上に外観画像1700が位置するものとする。そして、図18は、外観画像1700上に、Y軸方向に沿った変形MRI_MIP画像1600および重畳した表示画像を示す模式図である。この表示画像上で、第2実施形態と同様に、例えば変形MRI_MIP画像中の腫瘍1604の全体が含まれるように、ユーザが手動で撮像領域1803を設定することができる。
<第3実施形態の変形例3>
本実施形態では、撮像領域1803が2次元の矩形領域である場合を例として説明したが、本発明の実施形態はこれに限らない。例えば、撮像領域1803は、可動ステージ1407によって撮像ユニット1409を移動(スキャン)させる方式に応じて、円や楕円で囲まれた領域としてもよい。あるいは、任意の閉曲線で囲まれた領域としてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:画像処理装置、102:医用画像取得部、104:変形情報取得部、106:変形画像生成部、撮像領域設定部、110:表示画像生成部

Claims (10)

  1. 第1の形状状態における被検体の医用画像を取得する医用画像取得手段と、
    前記第1の形状状態から第2の形状状態への前記被検体の変形情報を取得する変形情報取得手段と、
    前記第2の形状状態における前記被検体の撮像領域を設定する撮像領域設定手段と、
    前記変形情報に基づいて変形させた前記医用画像を、前記撮像領域に合わせて変換して変換画像を生成する変形画像生成手段と、
    前記変換画像と前記撮像領域とを重畳して表示画像を生成する表示画像生成手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記撮像領域設定手段は、ユーザ操作に基づいて、前記表示画像上で前記撮像領域を調整することを特徴とする請求項1に記載の画像処理装置。
  3. 前記変形画像生成手段は、前記第2の形状状態における前記医用画像のボリュームレンダリング画像または最大値投影画像を、前記変換画像として生成することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記医用画像は、前記被検体のMRI画像であることを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 前記第2の形状状態における前記被検体の外観画像を取得する外観画像取得手段をさらに備え、
    前記撮像領域を設定するための空間は前記外観画像の平面であり、
    前記表示画像生成手段は、前記外観画像と前記変換画像と前記撮像領域とを重畳して前記表示画像を生成することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
  6. 前記外観画像に基づいて、前記第2の形状状態における前記被検体の撮像に適さない領域である不適切領域を設定する不適切領域設定手段をさらに備え、
    前記表示画像生成手段は、前記外観画像と前記変換画像と前記撮像領域と前記不適切領域とを重畳して前記表示画像を生成することを特徴とする請求項5に記載の画像処理装置。
  7. 請求項1乃至4の何れか1項に記載の画像処理装置と、
    前記医用画像を撮像する第1医用画像撮像装置と、
    を備えることを特徴とする画像診断システム。
  8. 請求項5または6に記載の画像処理装置と、
    前記医用画像を撮像する第1医用画像撮像装置と、
    前記外観画像を撮像する第2医用画像撮像装置と、
    を備えることを特徴とする画像診断システム。
  9. 画像処理方法であって、
    第1の形状状態における被検体の医用画像を取得する工程と、
    前記第1の形状状態から第2の形状状態への前記被検体の変形情報を取得する工程と、前記第2の形状状態における前記被検体の撮像領域を設定する工程と、
    前記変形情報に基づいて変形させた前記医用画像を、前記撮像領域に合わせて変換して変換画像を生成する工程と、
    前記変換画像と前記撮像領域とを重畳して表示画像を生成する工程と、
    を有することを特徴とする画像処理方法。
  10. 請求項9に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
JP2014230104A 2014-01-16 2014-11-12 画像処理装置、画像診断システム、画像処理方法およびプログラム Active JP6489800B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014230104A JP6489800B2 (ja) 2014-01-16 2014-11-12 画像処理装置、画像診断システム、画像処理方法およびプログラム
CN201480072924.0A CN105899144B (zh) 2014-01-16 2014-12-26 图像处理装置、图像诊断系统、图像处理方法和存储介质
US15/103,464 US10074156B2 (en) 2014-01-16 2014-12-26 Image processing apparatus with deformation image generating unit
PCT/JP2014/084758 WO2015107866A1 (en) 2014-01-16 2014-12-26 Image processing apparatus, image diagnostic system, image processing method, and storage medium
EP14878958.9A EP3094259B1 (en) 2014-01-16 2014-12-26 Image processing apparatus, image diagnostic system, image processing method, and storage medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014006214 2014-01-16
JP2014006214 2014-01-16
JP2014230104A JP6489800B2 (ja) 2014-01-16 2014-11-12 画像処理装置、画像診断システム、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2015154913A true JP2015154913A (ja) 2015-08-27
JP6489800B2 JP6489800B2 (ja) 2019-03-27

Family

ID=53542763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014230104A Active JP6489800B2 (ja) 2014-01-16 2014-11-12 画像処理装置、画像診断システム、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US10074156B2 (ja)
EP (1) EP3094259B1 (ja)
JP (1) JP6489800B2 (ja)
CN (1) CN105899144B (ja)
WO (1) WO2015107866A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532206B2 (ja) 2014-10-01 2019-06-19 キヤノン株式会社 医用画像処理装置、医用画像処理方法
EP3109824B1 (en) * 2015-06-24 2019-03-20 RaySearch Laboratories AB System and method for handling image data
CN107212884B (zh) * 2017-05-11 2020-07-24 天津大学 一种仰卧体位压迫乳房成像方法
JP7084291B2 (ja) * 2018-12-07 2022-06-14 富士フイルム株式会社 トモシンセシス撮影支援装置、方法およびプログラム
CN111435544B (zh) * 2019-01-14 2021-11-05 珠海格力电器股份有限公司 图片处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217769A (ja) * 2011-04-13 2012-11-12 Canon Inc 画像処理装置、画像処理装置の制御方法、およびプログラム
US20120321161A1 (en) * 2011-06-17 2012-12-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image pickup system, and program
JP2013059658A (ja) * 2012-11-29 2013-04-04 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2013150825A (ja) * 2013-03-22 2013-08-08 Ge Medical Systems Global Technology Co Llc 画像表示装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007029353A (ja) 2005-07-26 2007-02-08 Shimadzu Corp X線撮影装置
US20080292164A1 (en) * 2006-08-29 2008-11-27 Siemens Corporate Research, Inc. System and method for coregistration and analysis of non-concurrent diffuse optical and magnetic resonance breast images
JP2008073305A (ja) * 2006-09-22 2008-04-03 Gifu Univ 超音波乳房診断システム
EP2231011A1 (en) * 2007-12-31 2010-09-29 Real Imaging Ltd. System and method for registration of imaging data
JP2010088627A (ja) 2008-10-07 2010-04-22 Canon Inc 生体情報処理装置および生体情報処理方法
JP5147656B2 (ja) 2008-11-20 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
WO2011007312A1 (en) * 2009-07-17 2011-01-20 Koninklijke Philips Electronics N.V. Multi-modality breast imaging
JP5517524B2 (ja) 2009-08-10 2014-06-11 キヤノン株式会社 医療診断支援装置、医療診断支援装置の制御方法およびプログラム
EP2664360B1 (en) * 2010-02-24 2015-09-09 Accuray Incorporated Gantry image guided radiotherapy system and related tracking methods
JP5737858B2 (ja) * 2010-04-21 2015-06-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2012213558A (ja) 2011-04-01 2012-11-08 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP5858636B2 (ja) 2011-04-13 2016-02-10 キヤノン株式会社 画像処理装置、その処理方法及びプログラム
US10049445B2 (en) 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
JP6050827B2 (ja) * 2011-11-23 2016-12-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. X線投影及び光トモグラフィーを使用して軟性体組織を撮像する方法及びデバイス
JP2013150781A (ja) 2011-12-26 2013-08-08 Canon Inc 特性情報取得装置
US9058647B2 (en) 2012-01-16 2015-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP5995449B2 (ja) 2012-01-24 2016-09-21 キヤノン株式会社 情報処理装置及びその制御方法
JP5896812B2 (ja) 2012-04-05 2016-03-30 キヤノン株式会社 被検体情報取得装置
JP6049202B2 (ja) * 2013-10-25 2016-12-21 富士フイルム株式会社 画像処理装置、方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217769A (ja) * 2011-04-13 2012-11-12 Canon Inc 画像処理装置、画像処理装置の制御方法、およびプログラム
US20120321161A1 (en) * 2011-06-17 2012-12-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image pickup system, and program
JP2013000398A (ja) * 2011-06-17 2013-01-07 Canon Inc 画像処理装置、画像処理方法、撮影システム及びプログラム
JP2013059658A (ja) * 2012-11-29 2013-04-04 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2013150825A (ja) * 2013-03-22 2013-08-08 Ge Medical Systems Global Technology Co Llc 画像表示装置

Also Published As

Publication number Publication date
US10074156B2 (en) 2018-09-11
EP3094259A1 (en) 2016-11-23
CN105899144B (zh) 2019-05-14
CN105899144A (zh) 2016-08-24
EP3094259A4 (en) 2017-08-23
JP6489800B2 (ja) 2019-03-27
US20160307292A1 (en) 2016-10-20
EP3094259B1 (en) 2024-02-07
WO2015107866A1 (en) 2015-07-23

Similar Documents

Publication Publication Date Title
CN108697375B (zh) 脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序
US9691150B2 (en) Image processing apparatus, image processing method and storage medium
KR102041059B1 (ko) 치료 지원 시스템 및 이의 작동 방법, 및 치료 지원 프로그램을 기억하는 기억 매체
JP6304970B2 (ja) 画像処理装置、画像処理方法
JP6489800B2 (ja) 画像処理装置、画像診断システム、画像処理方法およびプログラム
EP2506221A2 (en) Image processing apparatus, ultrasonic photographing system, image processing method, program, and storage medium
US20230117780A1 (en) Systems and methods for determining a region of interest in medical imaging
JP6182045B2 (ja) 画像処理装置およびその方法
JP6489801B2 (ja) 画像処理装置、画像診断システム、画像処理方法およびプログラム
JP6431342B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101105494B1 (ko) 환자 맞춤형 3차원 인체 뼈 모델 재구성 방법
JP2019013852A (ja) 画像処理装置、システム、画像処理方法、医用画像撮像方法およびプログラム
JP2017221684A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190226

R151 Written notification of patent or utility model registration

Ref document number: 6489800

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151