JP2011212099A - 解剖図生成方法、装置及びプログラム - Google Patents
解剖図生成方法、装置及びプログラム Download PDFInfo
- Publication number
- JP2011212099A JP2011212099A JP2010081105A JP2010081105A JP2011212099A JP 2011212099 A JP2011212099 A JP 2011212099A JP 2010081105 A JP2010081105 A JP 2010081105A JP 2010081105 A JP2010081105 A JP 2010081105A JP 2011212099 A JP2011212099 A JP 2011212099A
- Authority
- JP
- Japan
- Prior art keywords
- human body
- image
- volume rendering
- anatomical chart
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000010586 diagram Methods 0.000 title claims abstract description 34
- 210000003484 anatomy Anatomy 0.000 title abstract description 6
- 238000009877 rendering Methods 0.000 claims abstract description 55
- 201000010099 disease Diseases 0.000 claims abstract description 34
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 230000002596 correlated effect Effects 0.000 abstract 2
- 208000007474 aortic aneurysm Diseases 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- 210000000709 aorta Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000004351 coronary vessel Anatomy 0.000 description 5
- 210000002758 humerus Anatomy 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 210000001765 aortic valve Anatomy 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 210000003109 clavicle Anatomy 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000004115 mitral valve Anatomy 0.000 description 3
- 210000001991 scapula Anatomy 0.000 description 3
- 210000000623 ulna Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 206010002915 Aortic valve incompetence Diseases 0.000 description 2
- 201000000057 Coronary Stenosis Diseases 0.000 description 2
- 208000020128 Mitral stenosis Diseases 0.000 description 2
- 206010027727 Mitral valve incompetence Diseases 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 2
- 206010002906 aortic stenosis Diseases 0.000 description 2
- 201000002064 aortic valve insufficiency Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 208000006887 mitral valve stenosis Diseases 0.000 description 2
- 230000036262 stenosis Effects 0.000 description 2
- 208000037804 stenosis Diseases 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 206010011089 Coronary artery stenosis Diseases 0.000 description 1
- 208000035478 Interatrial communication Diseases 0.000 description 1
- 208000001910 Ventricular Heart Septal Defects Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 208000002223 abdominal aortic aneurysm Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 210000000702 aorta abdominal Anatomy 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 208000013914 atrial heart septal defect Diseases 0.000 description 1
- 206010003664 atrial septal defect Diseases 0.000 description 1
- 210000003157 atrial septum Anatomy 0.000 description 1
- 238000012321 colectomy Methods 0.000 description 1
- 208000016569 congenital mitral valve insufficiency Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000002082 fibula Anatomy 0.000 description 1
- 208000005907 mitral valve insufficiency Diseases 0.000 description 1
- 208000003278 patent ductus arteriosus Diseases 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 208000009138 pulmonary valve stenosis Diseases 0.000 description 1
- 208000030390 pulmonic stenosis Diseases 0.000 description 1
- 210000000614 rib Anatomy 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 201000003130 ventricular septal defect Diseases 0.000 description 1
- 210000000596 ventricular septum Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
【課題】医用画像の観察や理解により適した解剖図を自動で生成、提供する。
【解決手段】記憶部61が、医療に関するレポートから抽出される人体の部位、疾患名または治療方法を表す多数のキーワードと、そのキーワードにより表される人体の部位、疾患名または治療方法に適したボリュームレンダリングのための画像生成条件とを各々対応付けて記憶し、抽出部62が、医療に関するレポートから人体の部位、疾患名または治療方法を表すキーワードを抽出し、画像生成部63が、抽出されたキーワードに対応付けられた画像生成条件を用いて、3次元人体モデルを表す3次元画像をボリュームレンダリングすることにより解剖図を生成する。
【選択図】図3
【解決手段】記憶部61が、医療に関するレポートから抽出される人体の部位、疾患名または治療方法を表す多数のキーワードと、そのキーワードにより表される人体の部位、疾患名または治療方法に適したボリュームレンダリングのための画像生成条件とを各々対応付けて記憶し、抽出部62が、医療に関するレポートから人体の部位、疾患名または治療方法を表すキーワードを抽出し、画像生成部63が、抽出されたキーワードに対応付けられた画像生成条件を用いて、3次元人体モデルを表す3次元画像をボリュームレンダリングすることにより解剖図を生成する。
【選択図】図3
Description
本発明は、3次元人体モデルから解剖図を生成する解剖図生成方法、装置及びプログラムに関する。
従来、医療分野においては、医用画像の読影をより的確に行ったり、患者への病状や治療法の説明を分かりやすくするため、医用画像に撮影された人体の部位と同じ部位が描かれた解剖図を医用画像と並べて閲覧する場合がある。
特許文献1では、頭部、腹部、心臓など人体の各部位がそれぞれ描かれた多数の解剖図を予め用意しておき、入力された医用画像を画像解析することにより、その医用画像にどの部位が撮影されているかを認識し、医用画像と同一部位を表す解剖図を選択し、提供することが提案されている。
ところで、同じ部位を撮影した医用画像を用いて画像診断を行う場合でも、異常が見られる位置によってはその医用画像の観察や理解に適した解剖図は異なってくることがある。たとえば、同じ心臓を撮影した医用画像を用いて画像診断を行う場合、異常が見られる位置が大動脈弁である場合には、心臓を一部カットして大動脈弁を観察可能に露出させた状態をそのカットした側から見た解剖図を表示するとよいが、冠動脈である場合には、冠動脈と大動脈を含む心臓全体を人体の正面側から見た解剖図を表示するとよい。同様に、どんな異常が見られるのか、それに対してどんな治療方法を用いるかなどによっても、医用画像の観察や理解に適した解剖図が異なってくる場合がある。
また、人体は極めて多数の器官が何層にも3次元的に折り重なって形成された集合体である。従って、特定の器官の立体構造やその器官と周辺組織との位置関係を観察したい場合、興味のない組織がわずかでも表示されていると観察の妨げになる。人体の器官の数は極めて多数あるため、これら個々の器官や症例ごとに解剖図を用意しておくことは事実上不可能である。
しかしながら、特許文献1では、入力された医用画像に同じ部位が撮影されている場合にはいずれも、同じ解剖図が提供されるに過ぎず、その部位のどの位置に異常が見られるか、どんな異常が見られるか、どんな治療方法を用いるかなどに対応してカスタマイズされた解剖図は提供できない。
本発明は、上記事情に鑑み、診断結果、治療法などの観察や理解に適した解剖図を自動で生成、提供できる解剖図生成方法、装置及びプログラムを提供することを目的とするものである。
本発明の解剖図生成方法は、医療に関するレポートから抽出される人体の部位、疾患名または治療方法を表す多数のキーワードと、該キーワードにより表される人体の部位、疾患名または治療方法に適したボリュームレンダリングのための画像生成条件とを各々対応付けて記憶し、医療に関するレポートから人体の部位、疾患名または治療方法を表すキーワードを抽出し、該抽出されたキーワードに対応付けられた画像生成条件を用いて、3次元人体モデルを表す3次元画像をボリュームレンダリングすることにより解剖図を生成することを特徴とするものである。
ここで、レポートというのは、患者を診断した結果などが電子的に記録され、電子的に読取り可能なものであって、テキストデータ、音声データおよび画像データの少なくとも1つを含むものである。このレポートの一例として、医用画像を読影した結果が記録された読影レポートがある。
また、キーワードとは、診断結果、治療法などの理解に適した解剖図の種類や角度等を決めるために必要な情報である。
また、画像生成条件というのは、視点の位置や各ボクセルの不透明度など、ボリュームレンダリングの実行に必要な条件であり、これらの諸条件に限らず、標準的な条件として予め設定されたボリュームレンダリングの実行に必要な諸条件の一部をカスタマイズするための、前記諸条件のうち少なくとも1つの条件を含む概念である。
また、解剖図というのは、生物体の形態と構造が描かれた画像である。
本発明の解剖図生成装置は、医療に関するレポートから抽出される人体の部位、疾患名または治療方法を表す多数のキーワードと、該キーワードにより表される人体の部位、疾患名または治療方法に適したボリュームレンダリングのための画像生成条件とを各々対応付けて記憶する記憶部と、医療に関するレポートから人体の部位、疾患名または治療方法を表すキーワードを抽出する抽出部と、該抽出部により抽出されたキーワードに対応する画像生成条件を記憶部から取得し、該取得した画像生成条件を用いて、3次元画像をボリュームレンダリングすることにより解剖図を生成する画像生成部とを備えたことを特徴とするものである。
本発明の方法および装置において、画像生成条件は、3次元画像中のボリュームレンダリングする範囲と、ボリュームレンダリングする際の視点とを含むものであってもよい。
また、前記生成された解剖図から線図をさらに生成するものであってもよい。
また、ボリュームレンダリングする範囲が、人体の部位、疾患名または治療方法に対応する領域である対象領域と、対象領域以外の領域である周辺領域とを含むものであり、周辺領域に対象領域よりも低い不透明度を付与してボリュームレンダリングを行うものであってもよい。
本発明の解剖図生成プログラムは、上記解剖図生成方法をコンピュータに実行させることを特徴とするものである。
本発明の解剖図生成方法、装置及びプログラムによれば、医療に関するレポートから抽出される人体の部位、疾患名または治療方法を表す多数のキーワードと、キーワードにより表される人体の部位、疾患名または治療方法に適したボリュームレンダリングのための画像生成条件とを各々対応付けて記憶し、医療に関するレポートから人体の部位、疾患名または治療方法を表すキーワードを抽出し、その抽出されたキーワードに対応付けられた画像生成条件を用いて3次元人体モデルを表す3次元画像をボリュームレンダリングすることにより解剖図を生成するようにしたので、医用画像において読影の対象となった人体の部位、疾患名または治療方法の情報に対応した解剖図を自動で生成でき、これにより、医用画像の観察や理解により適した解剖図を自動で提供することができる。
上記方法、装置及びプログラムにおいて、画像生成条件が、3次元画像中のボリュームレンダリングする範囲と、ボリュームレンダリングする際の視点とを含むものである場合には、医用画像において読影の対象となった人体の部位、疾患名または治療方法の情報に対応した人体の部位を、その観察に適した視点からみた解剖図を生成、提供することができる。
また、前記生成された解剖図から線図を生成するようにした場合には、医用画像において読影の対象となった人体の部位、疾患名または治療方法の情報に対応した線図も自動で生成、提供することができる。
また、ボリュームレンダリングする範囲が、人体の部位、疾患名または治療方法に対応する領域である対象領域と、該対象領域以外の領域である周辺領域とを含むものであり、ボリュームレンダリングが、周辺領域に対象領域よりも低い不透明度を付与して行なわれるものである場合には、対象領域だけではなくその周辺領域も併せて表示させつつ、対象領域を周辺領域よりも鮮明に表示した解剖図を生成、提供することができる。これにより、観察者は、対象領域の位置や範囲を容易に把握することができる。
以下、本発明の一実施の形態となる解剖図生成装置が導入された医用画像診断システムについて説明する。図1は、この医用画像診断システムの概略構成図である。図に示すように、このシステムでは、モダリティ1と、画像保管サーバ2と、読影レポートサーバ3と、画像処理ワークステーション4と、解剖図生成装置5とが、ネットワーク9を経由して通信可能な状態で接続されている。
モダリティ1には、被検体の検査対象部位を撮影することにより、その部位を表す3次元医用画像の画像データを生成し、その画像データにDICOM(Digital Imaging and Communications in Medicine)規格で規定された付帯情報を付加して、画像情報として出力する装置が含まれる。具体例としては、CT、MRIなどが挙げられる。
画像保管サーバ2は、モダリティ1で取得された医用画像の画像データを画像データベースに保存・管理するコンピュータである。画像保管サーバ2は、画像処理ワークステーション4からの閲覧要求に応じてデータベースの検索を行い、抽出された画像データを要求元の画像処理ワークステーション4に送信する。画像データの格納形式やネットワーク9経由での各装置間の通信は、DICOM等のプロトコルに基づいている。
読影レポートサーバ3は、画像処理ワークステーション4で作成された読影レポートのデータをデータベースに保存・管理するコンピュータである。読影レポートサーバ3は、画像処理ワークステーション4や解剖図生成装置5からの閲覧要求に応じてデータベースの検索を行い、抽出された読影レポートのデータを要求元に送信する。
画像処理ワークステーション4は、CPU、メモリ、ハードディスク、入出力インターフェース、通信インターフェース、入力装置(ポインティングデバイス、キーボード等)、ディスプレイ4a、データバス等の周知のハードウェア構成を備えたコンピュータである。画像処理ワークステーション4は、周知のオペレーティングシステムやアプリケーション・ソフトウェア等がインストールされたものである。アプリケーション・ソフトウェアとしては、画像保管サーバ2から医用画像データを取得するための画像検索・取得アプリケーションや、読影レポートの作成・編集等を行なうための読影レポート・アプリケーション、解剖図生成装置5から解剖図を取得するための解剖図取得アプリケーション等がインストールされている。これらのアプリケーション・ソフトウェアの実行により、画像処理ワークステーション4で上記各処理が実行される。
画像処理ワークステーション4は、上記読影レポート・アプリケーションの実行下で、読影レポート作成画面をディスプレイ4aに表示させ、その作成画面におけるユーザの入力操作に応じて医用画像に関する電子的な読影レポートを作成する。作成された読影レポートのデータは、画像処理ワークステーション4のハードディスク、あるいは読影レポートサーバ3のデータベースに保存・管理される。
ここで、読影レポートは、テキストデータ、音声データおよび画像データの少なくとも1つを含むものである。図4は、画像処理ワークステーション4で作成された読影レポートの一例を示す図である。図4の読影レポート100には、患者名、患者IDなどが記載された患者情報欄110、読影対象の画像に対する読影者の所見が記載される所見欄120、読影者の音声の所見が録音された音声データへのリンクが挿入された音声所見欄130、所見が現れている画像や参考画像等の添付画像141が挿入された添付画像欄140が設けられており、再生ボタン130aが選択されると、録音された音声が再生される。
また、画像処理ワークステーション4は、上記解剖図取得アプリケーションの実行下で、ユーザからの指示に応じて解剖図生成装置5に解剖図の要求を送信し、解剖図生成装置5から送られてきた解剖図をディスプレイ4aに表示させる。ここで、解剖図の要求には、対比させたい医用画像のファイル名、その医用画像に関する読影レポートのファイル名、患者IDなどの読影レポートを特定するための情報、あるいは読影レポートそのものが含まれる。
解剖図生成装置5は、図2に示すように、CPU51、メモリ52、ハードディスク53、通信インターフェース54、入力装置55(ポインティングデバイス、キーボード等)、ディスプレイ56、データバス57などの周知のハードウェア構成を備えたコンピュータである。解剖図生成装置5は、周知のオペレーティングシステムや本発明の解剖図生成処理を行うためのアプリケーション(解剖図生成プログラム)などがインストールされたものである。解剖図生成プログラムはメモリ52に記憶される。CPU51がこの解剖図生成プログラムを実行することで、解剖図生成装置5で本発明の実施の形態となる解剖図生成処理が実行される。なお、解剖図生成プログラムなどのアプリケーション・ソフトウェアは、CD−ROM等の記憶媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
ハードディスク53には、図3に示すように、健康な状態にある3次元人体モデルを表す3次元画像200が記憶されている。この3次元画像200は、ボクセルが3次元座標空間内に配列してなるものであり、各ボクセルの位置は、人体の左右方向をx軸、前後方向をy軸、上下方向をz軸とする3次元座標系で定義され、各ボクセルの画素値は、そのボクセルの位置の座標と関連づけられている。
また、ハードディスク4には、医用画像に関する読影レポートから抽出される人体の部位、疾患名または治療方法(以下、「人体の部位、疾患名または治療方法」を「部位等」と記す)を表す多数のキーワードと、該キーワードにより表される部位等に適したボリュームレンダリングのための画像生成条件とが各々対応付けて登録されたデータベースDBが構築されている。これにより、読影レポートから抽出した部位等を表すキーワードから、そのキーワードにより表される部位等に適したボリュームレンダリングのための画像生成条件を容易に検索・取得できる。
抽出されたキーワードが複数ある場合、個々のキーワードと対応付けられた解剖学的部位の全てを表示させるように画像生成条件を設定する。その結果、あらかじめ用意したキーワードは限られた数であっても、それらの組み合わせによって多様なバリエーションの解剖図を提供することができる。このとき全ての解剖学的部位が表示範囲内に収まるように、画像生成範囲を調整する。
また、データベースDBには、個々のキーワードに画像生成条件が対応付けて登録されているだけでなく、2以上のキーワードの組み合わせに対しても画像生成条件を登録することもできる。これにより、その2以上のキーワードの組み合わせに最適な画像生成条件を検索・取得できる。
ここで、多数のキーワードと、それに各々対応付けられる画像生成条件については、予め登録される。キーワードと画像処理条件の登録は、入力装置55から入力されて登録されてもよいし、予め用意された「キーワードと画像処理条件の対応付け」をネットワークまたは記憶媒体等を介して複写して作成してもよい。
なお、登録される部位等を表すキーワードは、部位等の名前、部位等を表す別称または記号、もしくはそれらの略称のいずれかを含むものである。具体的には、部位を表すキーワードとしては、大動脈、上行大動脈、大動脈弁、僧帽弁、冠動脈、右冠動脈、左前下行枝、左回旋枝、肺動脈、心房中隔、心室中隔などを用いることができ、疾患名を表すキーワードとしては、大動脈弁狭窄症、大動脈弁閉鎖不全症、僧帽弁狭窄症、僧帽弁閉鎖不全症、冠動脈の狭窄、大動脈瘤、動脈管開存症、肺動脈狭窄症、心房中隔欠損症、心室中隔欠損症などを用いることができ、治療方法を表すキーワードとしては、バイパス手術、結腸切除術、バチスタ手術などを用いることができる。
また、画像生成条件には、3次元画像200中のボリュームレンダリングする範囲と、その範囲内の各ボクセルにおける不透明度、ボリュームレンダリングする際の視点などがある。たとえば、大動脈弁狭窄症や大動脈弁閉鎖不全症というキーワードに対して、大動脈弁を観察可能に一部がカットされた心臓が位置する3次元画像200中の画像範囲が、ボリュームレンダリングする範囲として対応づけて記憶されている。
他にも、僧帽弁狭窄症、僧帽弁閉鎖不全症というキーワードに対しては僧帽弁を観察可能に一部がカットされた心臓部分が、冠動脈の狭窄(狭窄部位)というキーワードに対しては狭窄部位に対応する冠動脈と大動脈を含む心臓全体が、大動脈瘤というキーワードに対しては大動脈全体が、ボリュームレンダリングする範囲として対応づけて記憶されている。また、大動脈瘤の中でも上行大動脈瘤、弓部大動脈瘤、下行大動脈瘤、腹部大動脈瘤というキーワードに対しては、上行大動脈周辺の大動脈部分、弓部大動脈周辺の大動脈部分、下行大動脈周辺の大動脈部分、腹部大動脈周辺の大動脈部分が、ボリュームレンダリングする範囲として各々対応づけて記憶されている。
なお、画像生成条件としてボリュームレンダリングする範囲内の各ボクセルにおける不透明度を設定する際に、ボリュームレンダリングする範囲が、部位等に対応する領域である対象領域と、該対象領域以外の領域である周辺領域とを含むものである場合には、周辺領域に対象領域よりも低い不透明度を付与されるようにするとよい。これにより、対象領域だけではなくその周辺領域も併せて表示させつつ、対象領域を周辺領域よりも鮮明に表示した解剖図を生成、提供できる。
図2は、解剖図生成装置5の機能のうち、本発明の実施の形態となる解剖図生成処理に関連する部分を示すブロック図である。図に示すように、本発明の解剖図生成処理は、画像処理ワークステーション4からの要求に応じて、3次元人体モデルから解剖図を生成、提供するものであって、記憶部61、抽出部62、画像生成部63によって実現される。
記憶部61は、ハードディスク53から構成され、上述したように、3次元人体モデルを表す3次元画像200を記憶するとともに、医用画像に関する読影レポートから抽出される部位等を表す多数のキーワードと、該キーワードにより表される人体の部位、疾患名または治療方法に適したボリュームレンダリングのための画像生成条件が各々対応付けて登録されたデータベースDBも記憶する。記憶部61は、画像生成部63から部位等を表すキーワードKが入力されると、データベースDBからそのキーワードKに対応付けて登録されている画像生成条件Cを抽出し、画像生成部63に出力する。また、画像生成部63の要求に応じて3次元画像200も提供する。
抽出部62は、まず、画像処理ワークステーション4からの解剖図の要求を受け付ける。上述したように、解剖図の要求には、読影レポートを特定するための情報、あるいは読影レポート100そのものが含まれている。次に、解剖図の要求に読影レポート100が含まれている場合にはその読影レポートから、解剖図の要求に読影レポートを特定するための情報が含まれている場合には、画像処理ワークステーション4または読影レポートサーバ3にその情報を送信して読影レポートの転送を要求し、その要求に応じて転送された読影レポート100から、部位等を表す1以上のキーワードを抽出する。
上述したように、読影レポート100には、テキストデータ、音声データおよび画像データの少なくとも1つが含まれており、抽出部62は、読影レポート100に含まれているテキストデータ、音声データおよび画像データの少なくとも1つから、記録部61のデータベースDBに記憶されたキーワードと一致するキーワードを検出することにより、キーワードを抽出する。
なお、読影レポート100の音声データからキーワードを抽出する場合には、録音された音声データを公知の音声認識技術によりテキストデータに変換した上で、そのテキストデータの中からデータベースDBに記憶されたキーワードと一致するキーワードを検出すればよい。読影レポート100の画像データからキーワードを抽出する場合には、公知の部位認識技術、コンピュータ支援診断CAD(computer-aided diagnosis)システムなどを用いて画像解析を行った結果得られたテキストデータの中から、データベースDBに記憶されたキーワードと一致するキーワードを検出すればよい。
画像生成部63は、抽出部62により抽出されたキーワードKに対応する画像生成条件Cを記憶部61から取得し、該取得した画像生成条件Cを用いて、3次元画像200をボリュームレンダリングすることにより解剖図Iを生成する。画像生成部63は、解剖図Iの生成に必要となる全ての画像生成条件の項目それぞれについて一般的に適用される標準の条件を予め設定しておき、記憶部61から取得される画像生成条件Cに応じて、その設定された標準の条件の一部または全部を変更することによりカスタマイズする。なお、記憶部61から取得される画像生成条件Cには、上述したように、3次元画像200中のボリュームレンダリングする範囲210と、その範囲210内の各ボクセルにおける不透明度、ボリュームレンダリングする際の視点EPなどがある。
以下、図5を参照して、設定された画像処理条件を用いて、ボリュームレンダリングにより解剖図を生成する処理を説明する。ここでは、読影レポートから抽出されたキーワードが右上腕の後面に関連したものであり、記憶部61から取得された画像生成条件Cが、ボリュームレンダリングする範囲210を右上腕が位置する3次元画像200中の画像範囲とし、ボリュームレンダリングする際の視点Eを右上腕の後方の所定の位置とするものである場合について説明する。なお、投影面Fの位置、大きさ等を規定する、ボリュームレンダリングする際の視野範囲211はボリュームレンダリングする範囲210を囲む程度のものとする。
まず、設定された視点E、光源S、投影面Fにより、その視点Eと投影面F上の投影画素の各々とを結ぶ複数の視線Ej(j=1、2、…、m;mは、視線の数)に沿って範囲210を所定の間隔でサンプリングした複数の探査点Pji(i=1、2、…、n;nは、視線Ej上の探査点の数)を設定する。次に、各視線Ejに沿って、各探査点Pjiにおける輝度値b(Pji)と不透明度α(Pji)を取得し、次の式(1)に示すように、それらの積を加算していき、不透明度αの累積が所定の閾値となるか、またはレイが対象としている3次元医用画像Vから抜け出たとき、その視線Ejに対する処理を終了し、加算結果をその視線Ejが通る投影面F上の投影画素の出力画素値Cjとして決定する。
このような処理を各視線について行い、投影面上Fのすべての投影画素の出力画素値を決定することにより、ボリュームレンダリング画像、すなわち解剖図Iを生成する。生成された解剖図Iは、画像処理ワークステーション4に出力される。
なお、各探査点Pjiの不透明度α(Pji)は、予め3次元人体モデルの組織毎に与えられた不透明度により決定し、輝度値b(Pji)は、次の式(2)により算出する。
ここで、hは、拡散反射によるシェーディング関数であり、N(Pji)は、各探査点Pjiにおける法線ベクトル、Lは、探査点Pjiから光源Sへの単位方向ベクトル、「・」はベクトルの内積、c(Pji)は、予め被検体の組織毎に定義された色情報に基づき、割り当てられた色情報である。
図6A〜6Cに、本発明の解剖図生成処理により生成された解剖図の一例を示す。図6A〜6Cは、同じ右上腕の後面であっても、読影レポート100から抽出されたキーワードのバリエーションに対応してボリュームレンダリングする範囲をそれぞれカスタマイズした解剖図である。
具体的には、記憶部61のデータベースDBに、上腕骨というキーワードに対しては鎖骨、肩甲骨、上腕骨、尺骨および橈骨の上端部が、上腕三頭筋の長頭というキーワードに対しては鎖骨、肩甲骨、上腕骨、尺骨および橈骨の上端部、大円筋、上腕三頭筋の長頭、上腕三頭筋の内側頭が、棘下筋というキーワードに対しては鎖骨、肩甲骨、上腕骨、尺骨、橈骨の上端部、大円筋、上腕三頭筋の長頭、上腕三頭筋の内側頭、棘上筋、棘下筋、小円筋および上腕三頭筋の外側頭がボリュームレンダリングする範囲として対応づけて記憶されているときに、抽出部62により抽出されたキーワードKが上腕骨である場合に生成された解剖図を図6Aに、抽出部62により抽出されたキーワードKが上腕三頭筋の長頭である場合に生成された解剖図を図6Bに、抽出部62により抽出されたキーワードKが棘下筋である場合に生成された解剖図を図6Cに示している。
画像生成部63は、上記生成された解剖図Iから線図D(シェーマ図など)をさらに生成し、生成された線図Dを、画像処理ワークステーション4に出力する。ここで、線図Dの生成は、たとえば公知の輪郭抽出技術を用いて解剖図の輪郭線を抽出することにより行う。
なお、この線図Iは、画像生成部63により生成された解剖図Iから生成してもよいが、3次元画像200から直接生成するようにしてもよい。この場合は、記憶部61に、医用画像に関する読影レポートから抽出される部位等を表す多数のキーワードに対し、該キーワードにより表される人体の部位、疾患名または治療方法に適した線図を生成するための線図生成条件を対応付けて記憶しておき、抽出部62により抽出されたキーワードKに対応する線図生成条件を記憶部61から取得し、該取得した線図生成条件を用いて、3次元画像200から解剖図Iを生成すればよい。
また、画像生成部63は、生成された解剖図Iや線図Dに、その表示されている各部位の名称をさらに挿入したものを生成し、画像処理ワークステーション4に出力するものであってもよい。
上記実施の形態では、本発明の解剖図生成装置を、医用画像に関する読影レポートを用いて3次元人体モデルから解剖図を生成するものに適用した場合について説明したが、このような画像診断の結果を記録した読影レポートを用いる場合に限らず、画像診断以外の方法で診断した結果を記録したレポートなど、医療に関する種々のレポートから解剖図を生成する場合に適用することができる。
また、医用画像に関する読影レポートを用いて3次元人体モデルから解剖図を生成する上述した種々の対応についても、種々の他の医療に関するレポートから解剖図を生成する場合に適用することができ
また、上記実施の形態では、健康な状態にある3次元人体モデルからのみ解剖図を生成する場合について説明したが、特定の病気の状態にある3次元人体モデルも用意しておき、レポートから抽出されたキーワードに応じて、健康な状態にある3次元モデルおよび特定の病気の状態にある3次元人体モデルのいずれか一方または両方から解剖図を生成するようにしてもよい。
また、間接等の動態が観察可能な4次元人体モデル(動態の各段階を表す3次元人体モデル群)を用意しておき、レポートから抽出されたキーワードに応じて4次元人体モデルを構成する各3次元モデルからそれぞれ解剖図を生成するようにしてもよい。
3 読影レポートサーバ
4 画像処理ワークステーション
4a ディスプレイ
5 解剖図生成装置
51 CPU
52 メモリ
53 ハードディスク
54 通信インターフェース
61 記憶部
62 抽出部
63 画像生成部
100 読影レポート
200 3次元画像
210 ボリュームレンダリングする範囲
E 視点
C 画像生成条件
K キーワード
I 解剖図
4 画像処理ワークステーション
4a ディスプレイ
5 解剖図生成装置
51 CPU
52 メモリ
53 ハードディスク
54 通信インターフェース
61 記憶部
62 抽出部
63 画像生成部
100 読影レポート
200 3次元画像
210 ボリュームレンダリングする範囲
E 視点
C 画像生成条件
K キーワード
I 解剖図
Claims (10)
- 医療に関するレポートから抽出される人体の部位、疾患名または治療方法を表す多数のキーワードと、該キーワードにより表される人体の部位、疾患名または治療方法に適したボリュームレンダリングのための画像生成条件とを各々対応付けて記憶し、
医療に関するレポートから人体の部位、疾患名または治療方法を表すキーワードを抽出し、
該抽出されたキーワードに対応付けられた画像生成条件を用いて、3次元人体モデルを表す3次元画像をボリュームレンダリングすることにより解剖図を生成する
ことを特徴とする解剖図生成方法。 - 前記画像生成条件が、前記3次元画像中の前記ボリュームレンダリングする範囲と、前記ボリュームレンダリングする際の視点とを含むものであることを特徴とする請求項1記載の解剖図生成方法。
- 前記生成された解剖図から線図を生成することを特徴とする請求項1または2記載の解剖図生成方法。
- 前記ボリュームレンダリングする範囲が、前記人体の部位、疾患名または治療方法に対応する領域である対象領域と、該対象領域以外の領域である周辺領域とを含むものであり、
前記ボリュームレンダリングが、前記周辺領域に前記対象領域よりも低い不透明度を付与して行なわれるものであることを特徴とする請求項2記載の解剖図生成方法。 - 医療に関するレポートから抽出される人体の部位、疾患名または治療方法を表す多数のキーワードと、該キーワードにより表される人体の部位、疾患名または治療方法に適したボリュームレンダリングのための画像生成条件とを各々対応付けて記憶する記憶部と、
医療に関するレポートから人体の部位、疾患名または治療方法を表すキーワードを抽出する抽出部と、
該抽出部により抽出されたキーワードに対応する画像生成条件を前記記憶部から取得し、該取得した画像生成条件を用いて、前記3次元画像をボリュームレンダリングすることにより解剖図を生成する画像生成部と
を備えたことを特徴とする解剖図生成装置。 - 前記画像生成条件が、前記3次元画像中のボリュームレンダリングする範囲と、ボリュームレンダリングする際の視点とを含むものであることを特徴とする請求項5記載の解剖図生成装置。
- 前記画像生成部が、前記生成された解剖図から線図を生成するものであることを特徴とする請求項5または6記載の解剖図生成装置。
- 前記ボリュームレンダリングする範囲が、前記人体の部位、疾患名または治療方法に対応する領域である対象領域と、該対象領域以外の領域である周辺領域とを含むものであり、
前記画像生成部が、前記周辺領域に前記対象領域よりも低い不透明度を付与して前記ボリュームレンダリングを行うものであることを特徴とする請求項6記載の解剖図生成装置。 - コンピュータに、
医療に関するレポートから抽出される人体の部位、疾患名または治療方法を表す多数のキーワードと、該キーワードにより表される人体の部位、疾患名または治療方法に適したボリュームレンダリングのための画像生成条件とを各々対応付けて記憶し、
医療に関するレポートから人体の部位、疾患名または治療方法を表すキーワードを抽出し、
該抽出されたキーワードに対応付けられた画像生成条件を用いて、3次元人体モデルを表す3次元画像をボリュームレンダリングすることにより解剖図を生成する
ことを実行させることを特徴とする解剖図生成プログラム。 - 前記画像生成条件が、前記3次元画像中のボリュームレンダリングする範囲と、ボリュームレンダリングする際の視点とを含むものであることを特徴とする請求項9記載の解剖図生成プログラム
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010081105A JP2011212099A (ja) | 2010-03-31 | 2010-03-31 | 解剖図生成方法、装置及びプログラム |
US13/013,389 US20110242096A1 (en) | 2010-03-31 | 2011-01-25 | Anatomy diagram generation method and apparatus, and medium storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010081105A JP2011212099A (ja) | 2010-03-31 | 2010-03-31 | 解剖図生成方法、装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011212099A true JP2011212099A (ja) | 2011-10-27 |
Family
ID=44709098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010081105A Abandoned JP2011212099A (ja) | 2010-03-31 | 2010-03-31 | 解剖図生成方法、装置及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110242096A1 (ja) |
JP (1) | JP2011212099A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140344701A1 (en) * | 2013-05-17 | 2014-11-20 | Algotec Systems Ltd. | Method and system for image report interaction for medical image software |
JP6523686B2 (ja) * | 2015-01-05 | 2019-06-05 | キヤノンメディカルシステムズ株式会社 | X線診断装置 |
WO2016149670A1 (en) * | 2015-03-18 | 2016-09-22 | Weigel Michelle | Medical classification coding software |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110206247A1 (en) * | 2001-11-21 | 2011-08-25 | Dachille Frank C | Imaging system and methods for cardiac analysis |
JP4475625B2 (ja) * | 2003-05-27 | 2010-06-09 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
WO2005023086A2 (en) * | 2003-08-25 | 2005-03-17 | University Of North Carolina At Chapel Hill | Systems, methods, and computer program products for analysis of vessel attributes for diagnosis, disease staging, and surgical planning |
JP2008520312A (ja) * | 2004-11-23 | 2008-06-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | インターベンション手順の間の画像表示用の画像処理システム及び方法 |
US7979383B2 (en) * | 2005-06-06 | 2011-07-12 | Atlas Reporting, Llc | Atlas reporting |
US20070132756A1 (en) * | 2005-12-09 | 2007-06-14 | Plocher Thomas A | System and method for aiding spacial orientation for persons using three-dimensional graphical models of large buildings |
US7792778B2 (en) * | 2006-07-31 | 2010-09-07 | Siemens Medical Solutions Usa, Inc. | Knowledge-based imaging CAD system |
WO2009016559A1 (en) * | 2007-08-01 | 2009-02-05 | Koninklijke Philips Electronics N.V. | Accessing medical image detabases using medically relevant terms |
US9047539B2 (en) * | 2008-05-21 | 2015-06-02 | Koninklijke Philips N.V. | Medical workflow systems and methods with process workflow recordation |
US8386015B2 (en) * | 2008-10-27 | 2013-02-26 | Siemens Aktiengesellschaft | Integration of micro and macro information for biomedical imaging |
US8135730B2 (en) * | 2009-06-09 | 2012-03-13 | International Business Machines Corporation | Ontology-based searching in database systems |
US9256982B2 (en) * | 2010-03-17 | 2016-02-09 | Microsoft Technology Licensing, Llc | Medical image rendering |
-
2010
- 2010-03-31 JP JP2010081105A patent/JP2011212099A/ja not_active Abandoned
-
2011
- 2011-01-25 US US13/013,389 patent/US20110242096A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20110242096A1 (en) | 2011-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10818048B2 (en) | Advanced medical image processing wizard | |
Gsaxner et al. | The HoloLens in medicine: A systematic review and taxonomy | |
JP6081907B2 (ja) | 医療処置のコンピュータ化シミュレーションを行うシステム及び方法 | |
JP5222082B2 (ja) | 情報処理装置およびその制御方法、データ処理システム | |
JP6483270B2 (ja) | タッチレス高度画像処理及び視覚化 | |
JP4653542B2 (ja) | 画像処理装置 | |
JP2021106887A (ja) | 医用画像表示装置、方法およびプログラム | |
JP4634539B2 (ja) | 画像処理装置および方法並びにプログラム | |
JP7522269B2 (ja) | 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
JP2014054398A (ja) | 3次元画像表示装置および方法並びにプログラム | |
JP5934071B2 (ja) | 管状構造の最短経路探索装置および方法並びにプログラム | |
JP5415245B2 (ja) | 医用画像表示装置および方法並びにプログラム | |
JP5539478B2 (ja) | 情報処理装置および情報処理方法 | |
WO2011040015A1 (ja) | 医用画像表示装置および方法ならびにプログラム | |
JP2011212099A (ja) | 解剖図生成方法、装置及びプログラム | |
JP6734111B2 (ja) | 所見情報作成装置及びシステム | |
JP2015036084A (ja) | 画像処理システム | |
JP5484425B2 (ja) | 眼科装置及びその制御方法、コンピュータプログラム | |
Preim et al. | Clinical Impact of the Tumor Therapy Manager |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20140305 |