JP2019126654A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2019126654A JP2019126654A JP2018011753A JP2018011753A JP2019126654A JP 2019126654 A JP2019126654 A JP 2019126654A JP 2018011753 A JP2018011753 A JP 2018011753A JP 2018011753 A JP2018011753 A JP 2018011753A JP 2019126654 A JP2019126654 A JP 2019126654A
- Authority
- JP
- Japan
- Prior art keywords
- image
- medical image
- landmark
- area
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 126
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 230000006870 function Effects 0.000 claims description 39
- 239000000284 extract Substances 0.000 claims description 9
- 230000008054 signal transmission Effects 0.000 claims description 8
- 238000011976 chest X-ray Methods 0.000 description 43
- 210000003128 head Anatomy 0.000 description 41
- 238000000034 method Methods 0.000 description 35
- 238000010801 machine learning Methods 0.000 description 31
- 210000000038 chest Anatomy 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 210000003109 clavicle Anatomy 0.000 description 16
- 210000003625 skull Anatomy 0.000 description 16
- 230000008859 change Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 13
- 210000005252 bulbus oculi Anatomy 0.000 description 11
- 210000000056 organ Anatomy 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 10
- 210000000216 zygoma Anatomy 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 210000000988 bone and bone Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 210000004072 lung Anatomy 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 210000001981 hip bone Anatomy 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010002329 Aneurysm Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 210000003679 cervix uteri Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000002435 tendon Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Nuclear Medicine (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
図1は実施形態に係る医療情報システムの構成例を示すブロック図である。医療情報システム10は、画像処理装置12、モダリティ14、及び画像データベース16を備える。画像処理装置12、モダリティ14、及び画像データベース16は、ネットワーク18を介して通信可能に接続される。医療情報システム10の例として、PACS(Picture Archiving and Communication System)が挙げられる。
〔ハードウェア構成〕
図2は画像処理装置のハードウェアの構成例を示すブロック図である。画像処理装置12は、制御部30、メモリ32、ハードディスク装置34、通信インターフェース36、入力コントローラ38、及びディスプレイコントローラ39を備える。
制御部30は、画像処理装置12の全体制御部、各種演算部、及び記憶制御部として機能する。制御部30は、メモリ32に具備されるROM(read only memory)に記憶されているプログラムを実行する。制御部30は、通信インターフェース36を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク18を介して画像処理装置12と通信可能に接続されていてもよい。
メモリ32は、図示しないROM、及び図示しないRAMを備える。ROMは、画像処理装置12において実行される各種プログラムを記憶する。ROMは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。RAMは、データの一時記憶領域、及び制御部30のワーク領域等として機能する。
ハードディスク装置34は、各種データを非一時的に記憶する。具体的には、ハードディスク装置34は医用画像等を記憶する。ハードディスク装置34は、画像処理装置12の外部に外付けされてもよい。ハードディスク装置34に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
通信インターフェース36は、図1に示したモダリティ14、及び画像データベース16などの外部の装置との間のデータ通信を行う。図2に示したIFは、interfaceの省略後である。
入力コントローラ38は、マウス20、及びキーボード22等の入力装置26から送信される信号を受信し、画像処理装置12に適用される形式の信号に変換するインターフェースである。
ディスプレイコントローラ39は、画像処理装置12において生成された画像を表す信号を、表示装置24を用いて表示させる映像信号に変換するインターフェースである。ディスプレイコントローラ39は、画像を表す映像信号を表示装置24へ送信する。
図3は画像処理装置の機能を示す機能ブロック図である。図3に示した画像処理装置12は、全体制御部40、画像取得部41、画像処理部42、表示制御部44、画面生成部45、入力制御部46、及び記憶部47を備える。
全体制御部40は、画像処理装置12の制御プログラムの実行に基づき、画像取得部41、画像処理部42、表示制御部44、画面生成部45、入力制御部46、及び記憶部47を統括的に制御する。
画像取得部41は、図1に示した画像データベース16に記憶される画像データベース16に記憶される医用画像を取得する。画像データベース16は、モダリティ14を用いて撮像され医用画像が記憶される。本実施形態では、X線撮像装置を用いて撮像された胸部X線画像、及びCT装置を用いて撮像された頭部CT画像を医用画像として例示する。
画像処理部42は、深層学習アルゴリズム43に基づく深層学習を用いて、画像取得部41を用いて取得した医用画像の解析処理を実行する。医用画像の解析処理の詳細は後述する。
表示制御部44は、表示装置24を用いて医用画像を再生する際に、画像表示を制御するディスプレイドライバーとして機能する。表示制御部44は、表示装置24を用いて、医用画像に各種情報を重畳表示させてもよい。医用画像の表示の詳細は後述する。
画面生成部45は、表示装置24に表示させる各種操作画面を生成する。画面生成部45は表示制御部44を介して各種操作画面を表示装置24に表示させる。操作画面とは、複数の選択肢の中から1つ以上の選択を行う選択画面、及び1つ以上の処理パラメータを設定する設定画面等が挙げられる。
入力制御部46は、入力装置26から入力された信号を、画像処理装置12に適用される形式の信号に変換し、変換後の信号を全体制御部40へ送信する。全体制御部40は、入力装置26から入力された情報に基づいて、画像処理装置12の各部を制御する。
記憶部47は、画像記憶部48、及びプログラム記憶部49を備える。画像記憶部48は、画像取得部41を用いて取得した医用画像を記憶する。画像記憶部48に記憶された画像は、全体制御部40の制御の下、画像処理部42へ読み出される。画像記憶部48は、画像処理部42を用いた処理結果である結果画像を記憶する。
図4は第1実施形態に係る画像処理部の機能を示す機能ブロック図である。画像処理部42は、抽出部52、注目領域選択部54、ランドマーク候補領域設定部55、ランドマーク領域選択部56、位置合わせ部58、及び表示選択部59を備える。以下に、画像処理部42を構成する各部を詳細に説明する。
抽出部52は、図3に示した画像取得部41を用いて取得した第1医用画像50、及び第2医用画像51のそれぞれから臓器領域、及び組織領域を抽出する。組織とは、骨、関節、腱、筋、腫瘍、及び瘤等の、臓器に属さない人体の構造を含む概念を表す。抽出はセグメンテーションと同義である。
注目領域選択部54は、第1医用画像50、及び第2医用画像51から、抽出部52を用いて抽出された臓器領域、及び組織領域の中から1以上の注目領域を選択する。注目領域は位置合わせの対象領域である。
ランドマーク候補領域設定部55は、予めランドマーク候補領域を規定する。ランドマーク候補領域は、図示しないランドマーク候補領域記憶部を用いて記憶される。ランドマーク候補領域記憶部は、図3に示した記憶部47に具備されてもよい。
ランドマーク領域選択部56は、ランドマーク候補領域設定部55を用いて設定されたランドマーク候補領域の中から、第1医用画像50、及び第2医用画像51の両者から抽出された領域であり、注目領域以外の領域をランドマーク領域として選択する。ランドマーク領域選択部56は、複数のランドマーク領域を選択してもよい。ランドマーク領域選択部56は、入力装置26を用いて入力されたランドマーク領域選択情報を表す信号に基づいて、ランドマーク領域を選択することが可能である。
位置合わせ部58は、注目領域の選択情報、及びランドマーク領域の選択情報を用いて、第1医用画像50と第2医用画像51との位置合わせを行う。位置合わせ部58は、第1医用画像50のランドマーク領域と、第2医用画像51のランドマーク領域との位置を合わせる。第1医用画像50と第2医用画像51との位置合わせは、平行移動、及び回転の少なくともいずれか一方を行う剛体位置合わせが適用される。平行移動、及び回転は、第1医用画像50、及び第2医用画像51の少なくともいずれか一方について行われる。
表示選択部59は、結果画像の全体を表示させるか、又は結果画像の注目領域のみを表示させるかを表す選択信号を位置合わせ部58へ送信する。位置合わせ部58は、表示選択部59から送信された選択信号に基づいて、結果画像の全体を表す結果画像信号、又は結果画像の注目領域のみを表す結果画像信号のいずれかを表示制御部44へ送信する。
図5は第1実施形態に係る画像処理方法の手順の流れを示すフローチャートである。医用画像取得工程S10では、図3に示した画像取得部41は、第1医用画像50、及び第2医用画像51を取得する。医用画像取得工程S10の後に、抽出工程S12へ進む。
次に、上述した画像処理装置、及び画像処理方法を用いた医用画像の位置合わせの具体例について説明する。以下の説明では、同一人物の過去の医用画像と現在の医用画像との位置合わせを例示する。また、同一の種類のモダリティを用いて撮像された過去の医用画像と現在の医用画像とを例示する。
図6は胸部X線画像の位置合わせを模式的に示す模式図である。図6には過去の胸部X線画像100と、現在の胸部X線画像102とに対して剛体位置合わせを施して生成された結果画像104を示す。
図7は胸部X線画像の位置合わせの他の例を示す模式図である。図7に示した結果画像104Aは注目領域の位置合わせ結果が表示される一方、ランドマーク領域等の注目領域以外の領域が非表示とされる。
次に、医用画像の位置合わせの具体例として、頭部CT画像の位置合わせの例を説明する。図9は頭部CT画像の位置合わせの他の例を示す模式図である。図9には、過去の第1頭部CT画像200、過去の第2頭部CT画像202、及び現在の頭部CT画像204から成る3つの医用画像の位置合わせを行い、結果画像206を生成する例を示す。結果画像206を用いて、注目領域として選択された脳の経時変化の比較等の解析が可能である。符号210、符号220、及び符号230は、いずれも脳を示す。
第1実施形態に係る画像処理装置、及び方法によれば、以下の作用効果を得ることが可能である。
位置合わせ対象の医用画像について、複数のランドマーク候補領域が予め規定される。位置合わせ対象の複数の医用画像から注目領域を含む複数の領域が抽出される。複数のランドマーク候補領域のうち、位置合わせ対象の複数の医用画像の全てにおいて抽出された領域であり、注目領域以外の領域の中から1つ以上のランドマーク領域が選択される。選択されたランドマーク領域を位置合わせの基準として、位置合わせ対象の複数の医用画像の位置合わせを行う。これにより、位置合わせ対象の複数の医用画像についての高精度の位置合わせが可能である。
位置合わせ対象の複数の医用画像から抽出された領域の中から、注目領域が選択される。これにより、複数の医用画像から抽出された領域の中から、1つ以上の任意の領域を注目領域とすることが可能である。
複数の医用画像を重ね合わせた結果画像206を生成する。これにより、複数の医用画像の比較等の解析が可能となる。
機械学習の結果を用いて、医用画像から領域抽出が行われる。これにより、高精度の領域抽出が可能である。また、領域ごとの抽出結果を用いて機械学習が行われる。これにより、高精度の領域抽出が可能である。
ランドマーク領域の候補とされるランドマーク候補領域が予め設定される。ランドマーク候補領域のうち、複数の医用画像から抽出された領域の中からランドマーク領域が選択される。これにより、複数の医用画像に応じたランドマーク候補領域の設定が可能である。また、ランドマーク候補領域からランドマーク領域の選択が可能である。
複数のランドマークを用いて、誤差が最小となる位置合わせが行われる。これにより、複数の医用画像の高精度の位置合わせが可能である。
複数の医用画像は、同一の患者における、同一の被検体について、異なる時期に生成された医用画像が適用される。これにより、同一の患者における、同一の被検体について、経時変化観察等の解析が可能である。
位置合わせ部58は、結果画像206を表す結果画像信号を表示制御部44へ送信する。これにより、表示装置24を用いて結果画像206を表示し得る。画像処理部42は、結果画像206の全体を表示させるか、又は注目領域のみを表示させるかを選択する表示選択部59を備える。これにより、結果画像206の全体表示、又は注目領域のみの表示の選択が可能である。
次に、第2実施形態に係る画像処理装置、及び方法について説明する。
図13は第2実施形態に係る画像処理部の機能を示すブロック図である。第2実施形態に係る画像処理装置は、図13に示した画像処理部42Aを備える、画像処理部42Aは、優先度設定部250を備える。
図15は第2実施形態に係る画像処理方法の手順の流れを示すフローチャートである。図15に示したフローチャートは、図5に示したフローチャートの注目領域選択工程S14と、ランドマーク領域選択工程S16との間に、優先度設定工程S15が追加される。
第2実施形態に係る画像処理装置、及び方法によれば、以下の作用効果を得ることが可能である。
ランドマーク候補領域に対して優先度を設定する優先度設定部250を備える。これにより、優先度に基づくランドマーク領域の選択が可能である。
表示装置24に優先度設定画面260を表示させる。優先度設定画面260は入力装置を用いて領域の情報を入力可能な設定タブ表示される。これにより、入力装置を用いて、ランドマーク候補領域に対して優先度を設定することが可能である。
図16はネットワークシステムが適用される情報処理システムの構成例を示すブロック図である。図16に示した情報処理システム300は、サーバ装置302、及び医療機関304に具備される端末装置306を備える。サーバ装置302と端末装置306とはネットワーク308を介して通信可能に接続される。
上述した画像処理方法は、コンピュータを用いて、画像処理装置における各部に対応する機能、及び画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
12 画像処理装置
14 モダリティ
16 画像データベース
18 ネットワーク
20 マウス
22 キーボード
24 表示装置
26 入力装置
30 制御部
32 メモリ
34 ハードディスク装置
36 通信インターフェース
38 入力コントローラ
39 ディスプレイコントローラ
40 全体制御部
41 画像取得部
42 画像処理部
42A 画像処理部
43 深層学習アルゴリズム
44 表示制御部
45 画面生成部
46 入力制御部
47 記憶部
48 画像記憶部
49 プログラム記憶部
50 第1医用画像
51 第2医用画像
52 抽出部
53 機械学習器
53A 正解データ
54 注目領域選択部
55 ランドマーク候補領域設定部
56 ランドマーク領域選択部
58 位置合わせ部
58A 誤差算出部
59 表示選択部
60 通信信号線
100 過去の胸部X線画像
102 現在の胸部X線画像
104 結果画像
104A 結果画像
110 鎖骨
112 胸郭
114 心臓
120 鎖骨
122 胸郭
124 心臓
140 表示選択画面
142 第1選択ボタン
144 第2選択ボタン
146 オーケーボタン
200 過去の第1頭部CT画像
200A 過去の第1頭部CT画像
200B 過去の第1頭部CT画像
202 過去の第2頭部CT画像
202A 過去の第2頭部CT画像
202B 過去の第2頭部CT画像
204 現在の頭部CT画像
204A 現在の頭部CT画像
204B 現在の頭部CT画像
206 結果画像
206A 結果画像
206B 結果画像
210 脳
212 頭蓋骨
214 眼球
216 頬骨
220 脳
222 頭蓋骨
224 眼球
226 頬骨
230 脳
232 頭蓋骨
234 眼球
236 頬骨
240 処理対象画像選択画面
242 オーケーボタン
250 優先度設定部
260 優先度設定画面
262 第1設定タブ
264 第2設定タブ
266 第3設定タブ
268 第4設定タブ
270 第5設定タブ
272 オーケーボタン
300 情報処理システム
302 サーバ装置
304 医療機関
304A 第1医療機関
304B 第2医療機関
304C 第3医療機関
306 端末装置
306A 端末装置
306B 端末装置
306C 端末装置
308 ネットワーク
310 医用画像データベース
312 第2機械学習器
S10からS26 画像処理方法の各工程
Claims (17)
- 比較する注目領域をそれぞれに含む第1医用画像、及び第2医用画像を含む複数の医用画像を取得する画像取得部と、
前記第1医用画像、及び前記第2医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出部と、
前記第1医用画像の前記複数の領域、及び前記第2医用画像の前記複数の領域のうち、前記第1医用画像と前記第2医用画像とに共通する領域であり、前記注目領域と異なる特定の領域を、前記第1医用画像と前記第2医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択部と、
前記ランドマーク領域を位置合わせの基準として、前記第1医用画像と前記第2医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第1医用画像と前記第2医用画像とを重ね合わせた結果画像を生成する位置合わせ部と、
を備えた画像処理装置。 - 前記第1医用画像の前記複数の領域、及び前記第2医用画像の前記複数の領域から、1以上の前記注目領域を選択する注目領域選択部を備えた請求項1に記載の画像処理装置。
- 前記位置合わせ部は、前記注目領域選択部を用いて選択された前記注目領域を重ね合わせた結果画像を生成する請求項2に記載の画像処理装置。
- 前記抽出部は、前記医用画像と前記領域の抽出結果との組、又は前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして学習した学習結果を用いて、前記領域の抽出を行う請求項1から3のいずれか一項に記載の画像処理装置。
- 前記抽出部は、前記医用画像と前記領域ごとの抽出結果との組、又は前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして、前記領域ごとに学習した学習結果を用いて、前記領域の抽出を行う請求項1から4のいずれか一項に記載の画像処理装置。
- 前記第1医用画像、及び前記第2医用画像について、前記ランドマーク領域の候補とされるランドマーク候補領域を設定するランドマーク候補領域設定部を備えた請求項1から5のいずれか一項に記載の画像処理装置。
- 前記ランドマーク候補領域設定部は、前記第1医用画像、及び前記第2医用画像の少なくともいずれか一方を構成する領域のうち、前記ランドマーク領域となり得る全ての領域を前記ランドマーク候補領域として設定する請求項6に記載の画像処理装置。
- 前記ランドマーク領域選択部は、前記ランドマーク候補領域のうち、前記第1医用画像、及び前記第2医用画像から抽出された領域の中から、前記ランドマーク領域を選択する請求項6又は7に記載の画像処理装置。
- 前記ランドマーク候補領域に優先度を設定する優先度設定部を備えた請求項6から8のいずれか一項に記載の画像処理装置。
- 前記ランドマーク領域選択部は、2つ以上の前記ランドマーク候補領域が設定された場合に、それぞれの前記ランドマーク候補領域の前記優先度が高い順に、1つ以上の前記ランドマーク領域を選択する請求項9に記載の画像処理装置。
- 前記ランドマーク領域選択部は、複数の前記ランドマーク領域を選択し、
前記位置合わせ部は、前記ランドマーク領域選択部を用いて選択された前記複数のランドマーク領域を用いて前記結果画像を生成する際に、前記ランドマーク領域の誤差が最小となる前記第1医用画像と前記第2医用画像と位置合わせを行う請求項1から10のいずれか一項に記載の画像処理装置。 - 前記画像取得部は、同一の種類のモダリティを用いて生成された前記第1医用画像、及び前記第2医用画像を取得する請求項1から11のいずれか一項に記載の画像処理装置。
- 前記第1医用画像、及び前記第2医用画像は、同一の患者における同一の被検体について、異なる時期に生成された医用画像が適用される請求項1から12のいずれか一項に記載の画像処理装置。
- 前記結果画像を表す結果画像信号を表示装置へ送信する画像信号送信部を備えた請求項1から13のいずれか一項に記載の画像処理装置。
- 前記表示装置へ前記結果画像の全体を表示させるか、又は前記表示装置へ前記結果画像の前記注目領域のみ表示させるかを選択する表示選択部を備えた請求項14に記載の画像処理装置。
- 比較する注目領域をそれぞれに含む第1医用画像、及び第2医用画像を含む複数の医用画像を取得する画像取得工程と、
前記第1医用画像、及び前記第2医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出工程と、
前記第1医用画像の前記複数の領域、及び前記第2医用画像の前記複数の領域のうち、前記第1医用画像と前記第2医用画像とに共通する領域であり、前記注目領域と異なる特定の領域を、前記第1医用画像と前記第2医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択工程と、
前記ランドマーク領域を位置合わせの基準として、前記第1医用画像と前記第2医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第1医用画像と前記第2医用画像とを重ね合わせた結果画像を生成する位置合わせ工程と、
を含む画像処理方法。 - コンピュータに、
比較する注目領域をそれぞれに含む第1医用画像、及び第2医用画像を含む複数の医用画像を取得する画像取得機能、
前記第1医用画像、及び前記第2医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出機能、
前記第1医用画像の前記複数の領域、及び前記第2医用画像の前記複数の領域のうち、前記第1医用画像と前記第2医用画像とに共通する領域であり、前記注目領域と異なる特定の領域を、前記第1医用画像と前記第2医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択機能、及び
前記ランドマーク領域を位置合わせの基準として、前記第1医用画像と前記第2医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第1医用画像と前記第2医用画像とを重ね合わせた結果画像を生成する位置合わせ機能を実現させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018011753A JP6967983B2 (ja) | 2018-01-26 | 2018-01-26 | 画像処理装置、画像処理方法、及びプログラム |
US16/248,087 US20190236783A1 (en) | 2018-01-26 | 2019-01-15 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018011753A JP6967983B2 (ja) | 2018-01-26 | 2018-01-26 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019126654A true JP2019126654A (ja) | 2019-08-01 |
JP2019126654A5 JP2019126654A5 (ja) | 2020-05-07 |
JP6967983B2 JP6967983B2 (ja) | 2021-11-17 |
Family
ID=67392217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018011753A Active JP6967983B2 (ja) | 2018-01-26 | 2018-01-26 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20190236783A1 (ja) |
JP (1) | JP6967983B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210064047A (ko) * | 2019-11-25 | 2021-06-02 | 주식회사 뷰노 | 의료 영상 내 병변 영역 및 분비선 영역 검출 장치 및 방법 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10957038B2 (en) * | 2019-02-04 | 2021-03-23 | International Business Machines Corporation | Machine learning to determine clinical change from prior images |
WO2021125851A1 (ko) * | 2019-12-20 | 2021-06-24 | (주)시안솔루션 | 개인 맞춤형 유방 보형물을 모델링하는 방법 및 프로그램 |
CN114121234B (zh) * | 2020-08-28 | 2024-07-19 | 上海西门子医疗器械有限公司 | 医疗图像处理装置及计算机可读介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5812645A (ja) * | 1981-07-15 | 1983-01-24 | 株式会社日立メデイコ | X線テレビジヨン撮像装置 |
JP2008073338A (ja) * | 2006-09-22 | 2008-04-03 | Gifu Univ | 医用画像処理装置、医用画像処理方法及びプログラム |
US20110074813A1 (en) * | 2009-09-30 | 2011-03-31 | Fujifilm Corporation | Diagnosis assisting system, diagnosis assisting method, and computer readable recording medium having diagnosis assisting program recorded thereon |
JP2011120827A (ja) * | 2009-12-14 | 2011-06-23 | Fujifilm Corp | 診断支援システム、診断支援プログラムおよび診断支援方法 |
JP2012034988A (ja) * | 2010-08-11 | 2012-02-23 | Fujifilm Corp | 画像診断支援装置、方法及びプログラム |
US20130072779A1 (en) * | 2011-09-16 | 2013-03-21 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Reporting imaged portions of a patient's body part |
US20160148375A1 (en) * | 2014-11-21 | 2016-05-26 | Samsung Electronics Co., Ltd. | Method and Apparatus for Processing Medical Image |
JP2016097014A (ja) * | 2014-11-20 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
KR20160061248A (ko) * | 2014-11-21 | 2016-05-31 | 삼성전자주식회사 | 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법 |
-
2018
- 2018-01-26 JP JP2018011753A patent/JP6967983B2/ja active Active
-
2019
- 2019-01-15 US US16/248,087 patent/US20190236783A1/en not_active Abandoned
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5812645A (ja) * | 1981-07-15 | 1983-01-24 | 株式会社日立メデイコ | X線テレビジヨン撮像装置 |
JP2008073338A (ja) * | 2006-09-22 | 2008-04-03 | Gifu Univ | 医用画像処理装置、医用画像処理方法及びプログラム |
US20110074813A1 (en) * | 2009-09-30 | 2011-03-31 | Fujifilm Corporation | Diagnosis assisting system, diagnosis assisting method, and computer readable recording medium having diagnosis assisting program recorded thereon |
JP2011092687A (ja) * | 2009-09-30 | 2011-05-12 | Fujifilm Corp | 診断支援システム、診断支援プログラムおよび診断支援方法 |
JP2011120827A (ja) * | 2009-12-14 | 2011-06-23 | Fujifilm Corp | 診断支援システム、診断支援プログラムおよび診断支援方法 |
JP2012034988A (ja) * | 2010-08-11 | 2012-02-23 | Fujifilm Corp | 画像診断支援装置、方法及びプログラム |
US20130072779A1 (en) * | 2011-09-16 | 2013-03-21 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Reporting imaged portions of a patient's body part |
JP2016097014A (ja) * | 2014-11-20 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US20160148375A1 (en) * | 2014-11-21 | 2016-05-26 | Samsung Electronics Co., Ltd. | Method and Apparatus for Processing Medical Image |
KR20160061248A (ko) * | 2014-11-21 | 2016-05-31 | 삼성전자주식회사 | 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법 |
Non-Patent Citations (1)
Title |
---|
JUN ZHANG: "Detecting Anatomical Landmarks From Limited Medical Imaging Data Using Two-Stage Task-Oriented Deep", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 26, no. 10, JPN6021028217, October 2017 (2017-10-01), pages 4753 - 4763, ISSN: 0004553135 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210064047A (ko) * | 2019-11-25 | 2021-06-02 | 주식회사 뷰노 | 의료 영상 내 병변 영역 및 분비선 영역 검출 장치 및 방법 |
KR102601970B1 (ko) | 2019-11-25 | 2023-11-15 | 주식회사 뷰노 | 의료 영상 내 병변 영역 및 분비선 영역 검출 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20190236783A1 (en) | 2019-08-01 |
JP6967983B2 (ja) | 2021-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7379613B2 (ja) | 診断支援装置、診断支援システム、情報処理方法、及びプログラム | |
US11443431B2 (en) | Augmented reality patient positioning using an atlas | |
JP6490985B2 (ja) | 医用画像処理装置および医用画像処理システム | |
JP7051307B2 (ja) | 医用画像診断装置 | |
US20200058098A1 (en) | Image processing apparatus, image processing method, and image processing program | |
US9622831B2 (en) | Method and apparatus to provide updated patient images during robotic surgery | |
JP6419441B2 (ja) | 医用画像処理装置、医用画像処理システム、および医用画像処理プログラム | |
JP6967983B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2003265408A (ja) | 内視鏡誘導装置および方法 | |
JP2023139022A (ja) | 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
US20230316550A1 (en) | Image processing device, method, and program | |
JP6493885B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム | |
JP5100041B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP6734111B2 (ja) | 所見情報作成装置及びシステム | |
KR20190004591A (ko) | 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법 | |
WO2020240995A1 (ja) | マッチング装置、方法およびプログラム | |
JP7394959B2 (ja) | 医用画像処理装置、医用画像処理方法及びプログラム、医用画像表示システム | |
US11816821B2 (en) | Method and system for generating an enriched image of a target object and corresponding computer program and computer-readable storage medium | |
US20240206973A1 (en) | Systems and methods for a spinal anatomy registration framework | |
US10376335B2 (en) | Method and apparatus to provide updated patient images during robotic surgery | |
JP2022148868A (ja) | 画像位置合わせ装置、方法およびプログラム、並びに位置特定装置、方法およびプログラム | |
JP2024005113A (ja) | 画像処理装置、方法およびプログラム | |
US8744150B2 (en) | Method for determining a layer orientation for a 2D layer image | |
CN112215961A (zh) | 一种基于3d人脑模型的手术辅助系统及方法 | |
KR20140128131A (ko) | 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6967983 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |