JP2016140714A - 画像表示装置、画像表示プログラム及び画像表示方法 - Google Patents

画像表示装置、画像表示プログラム及び画像表示方法 Download PDF

Info

Publication number
JP2016140714A
JP2016140714A JP2015021388A JP2015021388A JP2016140714A JP 2016140714 A JP2016140714 A JP 2016140714A JP 2015021388 A JP2015021388 A JP 2015021388A JP 2015021388 A JP2015021388 A JP 2015021388A JP 2016140714 A JP2016140714 A JP 2016140714A
Authority
JP
Japan
Prior art keywords
image
region
tumor
area
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015021388A
Other languages
English (en)
Other versions
JP6641696B2 (ja
Inventor
正樹 石原
Masaki Ishihara
正樹 石原
馬場 孝之
Takayuki Baba
孝之 馬場
上原 祐介
Yusuke Uehara
祐介 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015021388A priority Critical patent/JP6641696B2/ja
Priority to US15/002,475 priority patent/US9846939B2/en
Priority to CN201610073021.5A priority patent/CN105872454B/zh
Publication of JP2016140714A publication Critical patent/JP2016140714A/ja
Application granted granted Critical
Publication of JP6641696B2 publication Critical patent/JP6641696B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/56Details of data transmission or power supply, e.g. use of slip rings
    • A61B6/563Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】 心拍や呼吸による位置の変動を打ち消す一方で、腫瘍で生じた集束に伴う位置の変動の影響を残すことを目的とする。【解決手段】 腫瘍部分の領域の指定を受け付ける指定手段と、画像中の特徴点のうち、指定を受け付けた領域から所定の閾値以上離れた箇所にある特徴点の位置と、他方の画像における当該特徴点に対応する特徴点の位置を特定する特定手段と、特定された前記特徴点の位置の差を用いて画像を変形する変形手段とを有する。【選択図】図10

Description

本発明は、画像表示装置、画像表示プログラム及び画像表示方法に関する。
医療の現場では、患者の病気の経過判断などのために、医師が異なる時期に撮影されたCT(Computed Tomography)画像を比較することがある。その際、比較する部位が患者の肺等の場合には、CT画像に心拍や呼吸による位置の変動が含まれるため、例えば、比較する各CT画像内の特徴点(例えば血管)の位置を合致させるように、指定された領域について画像を変形し、位置合わせをする。これにより、位置の変動が含まれるCT画像でも、医師は指定した領域について容易に比較することができる。
特開2013−141603号公報
ところで、肺に腫瘍(例えば腺癌)がある患者では、腫瘍により肺胞が潰され、付近の血管の位置等が潰された箇所に近づく、いわゆる"集束"が生じている可能性がある。このような患者の肺のCT画像について、従来の位置合わせを行った場合、潰された箇所付近の血管を特徴点とすると、"集束"に伴う位置の変動の影響も含めて画像を変形してしまうことになる。この結果、変形後のCT画像では、"集束"に伴う位置の変動が、心拍や呼吸による位置の変動と同様に、位置合わせにより相殺されてしまう。
一つの側面では、心拍や呼吸による位置の変動を打ち消す一方で、腫瘍で生じた集束に伴う位置の変動の影響を残すことを目的とする。
一態様によれば、画像表示装置は、
腫瘍部分の領域の指定を受け付ける指定手段と、
画像中の特徴点のうち、指定を受け付けた領域から所定の閾値以上離れた箇所にある特徴点の位置と、他方の画像における当該特徴点に対応する特徴点の位置とを特定する特定手段と、
特定された前記特徴点の位置の差を用いて画像を変形する変形手段とを有する。
心拍や呼吸による位置の変動を打ち消す一方で、腫瘍で生じた集束に伴う位置の変動の影響を残すことができる。
CT画像撮影システムの一例を示す図である。 画像表示装置のハードウェア構成を示す図である。 画像表示装置における診断支援部の処理内容と、医療従事者の操作内容と、並列表示画面の表示内容との関係を示す図である。 画像表示装置における診断支援部の処理内容と、医療従事者の操作内容と、並列表示画面の表示内容との関係を示す図である。 画像DBに格納される情報の一例を示す図である。 比較元CT画像に対する比較先CT画像の局所的な位置の変動の要因を示した図である。 腫瘍の変化に基づく位置の変動を更に詳細に説明するための図である。 代表ベクトルの算出処理及び対応領域の算出処理を説明するための図である。 非剛体変形の影響を含む代表ベクトルを用いて局所的位置合わせを行うことで得られた画像を示す図である。 第2のレジストレーション部の機能構成を示す図である。 集束領域判定部の処理内容を示す第1の図である。 集束領域があると判定された場合の代表ベクトルの算出方法を示す図である。 集束領域がないと判定された場合の代表ベクトルの算出方法を示す図である。 第2のレジストレーション部による局所的位置合わせ処理のフローチャートである。 集束領域判定処理の第1のフローチャートである。 非剛体変形の影響を排除した代表ベクトルを用いて局所的位置合わせを行うことで得られた画像を示す図である。 集束領域判定部の処理内容を示す第2の図である。 集束領域判定処理の第2のフローチャートである。 集束領域の一例を示す図である。 集束領域判定処理の第3のフローチャートである。
以下、実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
はじめに、第1の実施形態に係る画像表示装置を含むCT(Computed Tomography)画像撮影システムについて説明する。図1は、CT画像撮影システムの一例を示す図である。
CT画像撮影システム100は、CT装置110と画像表示装置120と画像データベース(以下、データベースをDBと略す)130とを有する。CT装置110と画像表示装置120とは電気的に接続されており、両装置の間ではデータの送受信が行われる。また、画像表示装置120と画像DB130も電気的に接続されており、両装置の間においてもデータの送受信が行われる。
CT装置110は、放射線等を利用して患者の体内を走査し、コンピュータを用いて処理することで、患者のスライス画像であるCT画像を生成する(以下、このような処理を"CT画像を撮影する"と称する)。CT装置110は、撮影したCT画像を画像表示装置120に送信する。
画像表示装置120は、CT装置110において撮影されたCT画像を、接続された画像DB130に格納する。また、画像表示装置120は、インストールされた診断支援プログラムがコンピュータにより実行されることで診断支援部140として機能する。
画像DB130は、CT装置110において撮影されたCT画像を、画像表示装置120を介して受信し、同じ時期に撮影された複数のCT画像(撮像群)ごとにわけて格納する。
診断支援部140は、CT装置110において撮影され、画像DB130に格納されたCT画像に基づいて、医師等の医療従事者が患者の診断を行う際に利用する機能である。診断支援部140は、例えば異なる時期に撮影されたCT画像を、医療従事者が比較しながら診断できるように並列に表示する。なお、以下では、並列に表示されたCT画像のうち、一方(例えば所定期間経過前に撮影されたCT画像)を"比較元CT画像"と称し、他方(例えば所定期間経過後に撮影されたCT画像)を"比較先CT画像"と称する。
診断支援部140は、比較元CT画像内において医療従事者により指定された位置を含む所定領域の画像を拡大表示画面に拡大表示する。また、診断支援部140は、指定された位置を含む所定領域に対応する対応領域の画像を比較先CT画像より抽出し、拡大表示画面に拡大表示する。
なお、診断支援部140は、これらの処理を実行するために、第1のレジストレーション部141と、第2のレジストレーション部142と、表示制御部143とを有する。
第1のレジストレーション部141は、例えば、第1のレジストレーションプログラムがコンピュータにより実行されることで実現される。第1のレジストレーション部141は、異なる時期に撮影されたCT画像を並列に表示する際に、各CT画像間の位置ずれを線形変形により補正することで、各CT画像間の大域的位置合わせを行う。
第2のレジストレーション部142は、例えば、第2のレジストレーションプログラムがコンピュータにより実行されることで実現される。第2のレジストレーション部142は、医療従事者により指定された位置を含む所定領域の画像が拡大表示された場合に、比較先CT画像において変形処理を行うことで、比較先CT画像により対応領域の画像を抽出する。これにより、第2のレジストレーション部142を表示制御部に通知することができる。なお、変形処理には種々の処理(例えば平行移動)が含まれるが、本実施形態において変形処理とは、平行移動を指すものとする。
表示制御部143は、例えば、表示プログラムがコンピュータにより実行されることで実現される。表示制御部143は、医療従事者により選択された比較元CT画像を表示するとともに、医療従事者により指定された位置を含む所定領域を拡大表示画面に拡大表示する。また、表示制御部143は、第2のレジストレーション部142により通知された、局所的な位置合わせが行われた画像を拡大表示画面に拡大表示する。
次に、画像表示装置120のハードウェア構成について説明する。図2は、画像表示装置のハードウェア構成を示す図である。図2に示すように、画像表示装置120は、CPU201、ROM(Read Only Memory)202、RAM(Random Access Memory)203を備える。また、画像表示装置120は、補助記憶部204、接続部205、表示部206、操作部207、ドライブ部208を備える。なお、画像表示装置120の各部は、バス209を介して相互に接続されている。
CPU201は、補助記憶部204に格納された各種プログラム(例えば、第1のレジストレーションプログラム、第2のレジストレーションプログラム、表示プログラム等)を実行するコンピュータである。
ROM202は不揮発性メモリである。ROM202は、補助記憶部204に格納された各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する。
RAM203は揮発性メモリであり、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等を含む。RAM203は、補助記憶部204に格納された各種プログラムがCPU201によって実行される際に展開される、作業領域を提供する主記憶部である。
補助記憶部204は、画像表示装置120にインストールされた各種プログラムや、各種プログラムが実行されることで生成されるデータ等を記録するコンピュータ読み取り可能な記録媒体である。
接続部205は、CT装置110及び画像DB130と接続され、CT装置110及び画像DB130との間で、データの送受信を行う。表示部206は、CT装置110において撮影され画像DB130に格納されたCT画像を並列表示画面により表示する。操作部207は、医師等の医療従事者が画像表示装置120に対して行う各種操作を受け付ける。
ドライブ部208は記録媒体210をセットするためのデバイスである。ここでいう記録媒体210には、CD−ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体210には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。
なお、本実施形態において、補助記憶部204に格納される各種プログラムは、例えば、配布された記録媒体210がドライブ部208にセットされ、該記録媒体210に記録された各種プログラムがドライブ部208により読み出されることでインストールされる。あるいは、接続部205を介してネットワークからダウンロードされることでインストールされる。
次に、画像表示装置120の診断支援部140の処理内容と、そのときの医療従事者の操作内容ならびに画像表示装置120の表示部206に表示される並列表示画面との関係について説明する。
図3及び図4は、画像表示装置における診断支援部の処理内容と、医療従事者の操作内容と、並列表示画面の表示内容との関係を示す図である。
画像表示装置120において診断支援部140による処理が開始されると、図3に示すように、表示制御部143による処理が開始され、表示部206には、異なる時期に撮影されたCT画像を並列して表示させるための並列表示画面300が表示される。並列表示画面300が表示された状態で、医師等の医療従事者は、所定の患者について所定の時期に撮影された所定の部位(ここでは肺)の撮像群を比較元CT画像群として選択する。これにより、表示制御部143では、画像DB130より、選択された比較元CT画像群を読み出す。更に、選択された比較元CT画像群の中から、医療従事者により所定の比較元CT画像(ここではファイル名="ImageA015")が指定されると、表示制御部143は、指定された比較元CT画像を並列表示画面300に表示する。
医療従事者は、指定した比較元CT画像と比較すべく、異なる時期に撮影された同一患者の同一部位の撮像群を比較先CT画像群として選択する。具体的には、患者IDや撮影日時、撮影部位(ここでは肺)等を入力して選択する。これにより、表示制御部143では、入力された患者名、撮影日時、撮影部位等により特定される撮像群を比較先CT画像群として、画像DB130より読み出す。更に、表示制御部143では、読み出した比較先CT画像群の中から、並列表示画面300に表示されている比較元CT画像に対応する比較先CT画像(ここではファイル名="ImageB018")を読み出し、並列表示画面300に表示する。
このとき、診断支援部140では第1のレジストレーション部141が機能し、読み出したCT画像に対して、回転や平行移動等の線形的な補正を行うことで大域的位置合わせを行う。CT画像全体に対して大域的位置合わせが行われることで、比較元CT画像と比較先CT画像との間の大域的な位置ずれが解消される。
大域的位置合わせが完了すると、図4に示すように、医療従事者は、表示された比較元CT画像において腫瘍部分Fの位置を指定する。これにより、表示制御部143では、指定された腫瘍部分Fの位置を含む所定領域401の画像を比較元CT画像上の拡大表示画面に拡大表示する。
所定領域401の画像が拡大表示されると、第2のレジストレーション部142では、比較先CT画像において平行移動による変形処理を行い、腫瘍部分Fに対応する腫瘍部分F'の位置を含む対応領域402の画像(局所的位置合わせが行われた画像)を抽出する。また、第2のレジストレーション部142では、比較先CT画像より抽出した対応領域402の画像を、表示制御部143に通知する。
表示制御部143は、第2のレジストレーション部142より通知された対応領域402の画像を、比較先CT画像上の拡大表示画面に拡大表示する。これにより、局所的位置合わせが行われた画像を表示することができる。
このように、画像表示装置120によれば、比較元CT画像において医療従事者により腫瘍部分Fの位置が指定された場合に、所定領域401の画像を拡大表示することができる。また、比較先CT画像より対応領域402の画像を自動的に抽出し、拡大表示画面に拡大表示することができる。この結果、医療従事者は、異なる時期に撮影された撮像群に含まれる各CT画像間の対応位置を容易に把握することができ、腫瘍がどのように変化したのかを容易に診断することができる。
次に、画像DB130について説明する。図5は、画像DBに格納される情報の一例を示す図である。図5に示すように、画像DB130に格納される情報は患者ごとに分類されて管理されており、図5は患者ID="xxx"の患者についての情報の一例を示している。
図5に示すように、患者の情報の項目には、"撮影日時"、"撮影部位"、"ファイル名"、"撮像群"が含まれる。"撮影日時"には、CT画像を撮影した日時についての情報が格納される。"撮影部位"には、撮影対象の部位についての情報が格納される。"ファイル名"には、撮影により得られた複数のCT画像からなるファイルを特定するためのファイル名が格納される。"撮像群"には、撮影により得られた複数のCT画像が格納される。
図5の例では、撮影日時="H26.2.5"に撮影部位="肺"について撮影が行われることで得られた、ImageA001〜ImageA030のCT画像を含むファイル名="ファイルA"のファイルが画像DB130に格納されている。また、撮影日時="H26.8.3"に撮影部位="肺"について撮影が行われることで得られた、ImageB001〜ImageB030のCT画像を含むファイル名="ファイルB"のファイルが画像DB130に格納されている。
なお、図5中の点線は、"ImageA015"のCT画像が比較元CT画像として選択されたことを示している。また、"ImageB018"のCT画像が比較先CT画像として選択されたことを示している。
次に、診断支援部140の各部について説明する。なお、以下では、主に第2のレジストレーション部142について説明する。
上述したとおり、大域的位置合わせが完了した時点では、比較元CT画像と比較先CT画像との間では全体的な位置の変動が補正されている一方で、局所的な位置の変動は残されている。このため、医療従事者により指定された腫瘍部分Fの位置を含む所定領域401に対応する対応領域402の画像を拡大表示するにあたり、第2のレジストレーション部142では、まず、比較元CT画像に対する比較先CT画像の局所的な位置の変動を求める。そして、求めた変動に応じて、比較先CT画像において平行移動による変形処理を行うことで、対応領域402を求める。これにより、局所的位置合わせがなされた画像を抽出することができる。
ここで、撮影部位="肺"の場合、局所的な位置の変動が生じる主な要因として、2つの要因(呼吸・心拍に基づくものと、腫瘍の変化(経時変化)に基づくもの)が挙げられる。図6は、比較元CT画像に対する比較先CT画像の局所的な位置の変動の要因を示した図である。
図6に示すように局所的な位置の変動が生じると、比較元CT画像における所定領域401と同じ座標を有する比較先CT画像上の領域には、例えば、画像610が表示されることになる。
図6において、比較元CT画像における所定領域401の画像600と、所定領域401と同じ座標を有する比較先CT画像上の領域の画像610とを対比すると、局所的な位置の変動により、血管の位置や腫瘍の位置が大きくずれていることがわかる。図6において、太線は血管601〜603、611〜613を示しており、網掛け領域は腫瘍部分F、F'を示している。
なお、呼吸・心拍に基づく位置の変動とは、例えば、呼吸時の横隔膜の動きに伴う位置の変動をいう。患者が息を吐く場合と息を吸う場合とでは横隔膜の位置が変動するため、これに伴って肺の各部の位置が変動する。つまり、比較元CT画像と比較先CT画像との間には、撮影時の患者の呼吸の状態が完全に一致している場合を除き、呼吸・心拍に基づく局所的な位置の変動が生じうる。
なお、呼吸・心拍に基づく位置の変動は、例えば所定領域401全体が所定方向に平行移動するものである。したがって、剛体変形とみなすことができる。
一方、腫瘍の変化に基づく位置の変動とは、腺癌等のような悪性腫瘍が、肺胞を破壊しながら増殖し、肺胞が保っていた空気の分だけ肺胞の容積が減少することで生じる(つまり、腫瘍で生じた集束に伴う)位置の変動をいう。図7を用いて詳説する。図7は、腫瘍の変化に基づく位置の変動を詳細に説明するための図である。
図7(a)は、腺癌等の悪性腫瘍が腫瘍中心点Oに示す位置に発生した直後の周辺組織の様子を示している。図7(a)に示すように、悪性腫瘍が発生した直後の状態では腫瘍中心点Oから気管支711の点D1までの距離及び血管712の点C1までの距離は、それぞれr1である。
図7(b)は、悪性腫瘍が腫瘍周辺の肺胞を破壊しつつ増殖したことで、気管支711や血管712を含む周辺組織が腫瘍中心点Oに向かって移動した様子を示している。図7(b)に示すように、周辺組織が腫瘍中心点Oに向かって移動したことで、腫瘍中心点Oから気管支711の点D2までの距離及び血管712の点C2までの距離は、それぞれr2(<r1)となる。
図7(c)は、悪性腫瘍が腫瘍周辺の肺胞を更に破壊して増殖したことで、気管支711や血管712を含む周辺組織が更に腫瘍中心点Oに向かって移動した様子を示している。図7(c)に示すように、周辺組織が腫瘍中心点Oに向かって移動したことで、腫瘍中心点Oから気管支711の点D3までの距離及び血管712の点C3までの距離は、それぞれr3(<r2)となる。
このように、腫瘍の変化に基づく(腫瘍で生じた集束に伴う)位置の変動は、周辺組織が腫瘍中心点Oに向かうという特性があり、所定領域内の位置によって変動の仕方が異なるため、非剛体変形とみなすことができる。
なお、図7に示すように、腫瘍周辺の組織は、腫瘍領域703の組織と、集束領域702の組織と、正常領域701の組織とに大別することができる。腫瘍領域703では、悪性腫瘍により破壊されるため、図7(a)において存在していた組織の一部が、図7(c)においては存在しない。一方、集束領域702では、図7(a)において存在していた組織が図7(c)においても存在するが、対応する組織の位置は中心方向に変動している(B1→B2→B3)。また、正常領域701では、図7(a)において存在していた組織が図7(c)においても存在しており、対応する組織の位置(A1→A2→A3)もほとんど変動していない。
以上、図6及び図7の説明から明らかなように、比較元CT画像と比較先CT画像との間の局所的な位置の変動の要因には、剛体変形とみなせる"呼吸・心拍に基づくもの"と非剛体変形となる"腫瘍の変化に基づくもの"とがある。また、"腫瘍の変化に基づくもの"の場合、腫瘍中心点Oに向かう度合いに応じて、腫瘍周辺の組織を正常領域701、集束領域702、腫瘍領域703に大別することができる。
次に、比較先CT画像において図6に示したような剛体変形と非剛体変形とが混在している領域について、第2のレジストレーション部142が局所的な位置合わせを行う場合の問題点について図8及び図9を用いて説明する。
上述したとおり、比較先CT画像において局所的位置合わせを行うにあたり、第2のレジストレーション部142では、平行移動による変形処理を行う。つまり、非線形な変形処理ではなく線形な変形処理を行う。これは、医療従事者の中には、読影に際して、非線形な変形処理により画像が加工されてしまうことを望まない医療従事者がいるためである。
ここで、平行移動による変形処理を行うにあたり、第2のレジストレーション部142では、所定領域401が比較先CT画像のどの位置に移動したかを示す代表ベクトルの算出を行う。
図8は、代表ベクトルの算出処理を説明するための図である。このうち、図8(a)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置との差である対応ベクトル(黒矢印)を示したものである。なお、領域800は、比較元CT画像の所定領域401に含まれる特徴点に対応する比較先CT画像中の特徴点が含まれる領域であって、代表ベクトルの算出に用いられる領域である。以下、比較先CT画像中の当該領域を代表ベクトル算出対象領域800と称する。
ここで、第2のレジストレーション部142が、代表ベクトル算出対象領域800に含まれるすべての対応ベクトルを用いて、代表ベクトル810を算出したとする。この場合、局所的位置合わせが行われた画像は、図8(b)に示す処理により抽出することができる。
図8(b)は、代表ベクトル810を用いて、この代表ベクトル810を打ち消す方向に平行移動する変形処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図8(b)に示すように、第2のレジストレーション部142では、比較元CT画像の所定領域401と同じ座標を有する比較先CT画像中の領域801を、代表ベクトル810に基づいて平行移動させることで領域802を求める。そして、比較先CT画像より領域802の画像を抽出することで、局所的位置合わせが行われた画像を抽出する。
しかしながら、このようにして抽出した画像は、剛体変形と非剛体変形とが混在している領域において、剛体変形のみが生じていると仮定して代表ベクトルを求め、仮定した剛体変形を相殺するように平行移動させることで得た画像に他ならない。つまり、非剛体変形分の影響も相殺するように平行移動させていることになる。
図8(c)、図8(d)を用いて更に詳説する。図8(c)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置とを結ぶ対応ベクトルのうち、呼吸・心拍に基づく位置の変動分(剛体変形分)の対応ベクトルを示したものである。図8(c)に示すように、剛体変形分の対応ベクトルは、いずれも同じ方向を向いており、また、いずれも同じ長さとなっている。なお、剛体変形分の対応ベクトルは、正常領域701及び集束領域702に存在する。ただし、腫瘍領域703には比較元CT画像の特徴点に対応する比較先CT画像の特徴点が存在しないため、対応ベクトルも存在しない。
一方、図8(d)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置とを結ぶ対応ベクトルのうち、腫瘍の変化に基づく位置の変動分(非剛体変形分)の対応ベクトルを示したものである。図8(d)に示すように、非剛体変形分の対応ベクトルは、集束領域702(ただし、腫瘍領域703は除く)内にのみ存在し、腫瘍の中心方向を向いている。
このように剛体変形分の対応ベクトルと非剛体変形分の対応ベクトルとでは、ベクトルの長さ及び向きに違いがあり、存在する位置にも違いがある。
一方で、図8(a)に示した対応ベクトルは図8(c)に示す対応ベクトルと図8(d)に示す対応ベクトルとを足し合わせたものである。
つまり、図8(a)に示した対応ベクトルのうち集束領域702に相当する位置に存在する対応ベクトルには、剛体変形分の対応ベクトルと非剛体変形分の対応ベクトルとが混在していることになる。このため、集束領域702に相当する位置に存在する対応ベクトルを用いて代表ベクトル810を算出しても、代表ベクトル810には、非剛体変形の影響が含まれることとなる。そして、このような代表ベクトル810により局所的位置合わせを行っても、精度の高い位置合わせを行うことはできない。
具体的な画像を用いて説明する。図9は、非剛体変形の影響を含む代表ベクトルを用いて局所的位置合わせを行うことで得られた画像を示す図である。なお、図9の例では、局所的位置合わせを行うことで得られた画像900(比較先CT画像の領域802の画像)と、比較元CT画像における所定領域401の画像600とを重ねて示している。
図9に示すように、画像900に含まれる血管901〜903及び腫瘍部分F'の位置は、局所的位置合わせを行ったにも関わらず画像600に含まれる血管601〜603及び腫瘍部分Fの位置に対してずれてしまっている。
以上のような剛体変形と非剛体変形とが混在している領域での代表ベクトル算出の際の問題点に鑑みて、本実施形態の第2のレジストレーション部142では、非剛体変形の影響を排除して代表ベクトルを求める。以下、図10〜図16を用いて、本実施形態の第2のレジストレーション部142について説明する。
図10は、第2のレジストレーション部の機能構成を示す図である。図10に示すように、第2のレジストレーション部142は、領域識別部1001と、対応ベクトル算出部1002と、集束領域判定部1003と、代表ベクトル算出部1004と、位置合わせ部1005とを有する。
領域識別部1001は、医療従事者により指定された位置を含む所定領域401を識別する。具体的には、所定領域401の位置を特定する比較元CT画像上の座標を取得する。
対応ベクトル算出部1002は、領域識別部1001により識別された比較元CT画像の所定領域401より、特徴点を抽出する。また、対応ベクトル算出部1002は、抽出した各特徴点に対応する比較先CT画像中の各特徴点を検索する。更に、対応ベクトル算出部1002は、比較元CT画像より抽出した各特徴点の位置と、該各特徴点に対応する比較先CT画像中の各特徴点の位置との差に基づいて、対応ベクトルを算出する。
集束領域判定部1003は、対応ベクトル算出部1002において算出した対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する。また、集束領域702が含まれていると判定した場合、集束領域判定部1003では、正常領域701と集束領域702との境界位置を算出する。更に、集束領域判定部1003では、集束領域702が含まれているか否かの判定結果と、正常領域701と集束領域702との境界位置の算出結果とを、代表ベクトル算出部1004に通知する。
代表ベクトル算出部1004は、対応ベクトル算出部1002において算出された対応ベクトルに基づいて、代表ベクトル算出対象領域800における代表ベクトルを算出する。代表ベクトル算出部1004では、代表ベクトル算出対象領域800に集束領域702が含まれていないと判定された場合には、代表ベクトル算出対象領域800内の全ての対応ベクトル(ただし腫瘍領域は除く)を用いて代表ベクトルを算出する。一方、代表ベクトル算出対象領域800に集束領域702が含まれていると判定された場合には、代表ベクトル算出対象領域800内の対応ベクトルのうち、集束領域及び腫瘍領域に含まれる対応ベクトルを除く対応ベクトルを用いて代表ベクトルを算出する。
なお、代表ベクトル算出部1004では、対応ベクトルを用いて代表ベクトルを算出するにあたり、平均処理を行う。
位置合わせ部1005は、代表ベクトル算出部1004において算出された代表ベクトルに基づいて、所定領域401に対応する対応領域402の画像を比較先CT画像より抽出する。具体的には、位置合わせ部1005は、所定領域401の位置を特定する座標を、比較先CT画像上において代表ベクトルを用いて移動させることで移動後の座標を算出する。更に、位置合わせ部1005は、算出した移動後の座標により特定される領域(対応領域402)の画像を比較先CT画像より抽出し、表示制御部143に通知する。これにより、表示制御部143では、局所的位置合わせが行われた画像を拡大表示画面に拡大表示することができる。
次に、第2のレジストレーション部142に含まれる各部のうち、集束領域判定部1003、代表ベクトル算出部1004の機能の具体例について説明する。
はじめに、集束領域判定部1003の機能の具体例について説明する。図11は、集束領域判定部の処理内容を示す第1の図であり、図11(a)と図11(b)の2つの具体例を示している。
図11(a)は、代表ベクトル算出対象領域800の中心から辺縁までを、矩形枠状に所定の刻み幅の区画で区分けし、各区画の対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する様子を示している。
なお、代表ベクトル算出対象領域800の中心から辺縁までの距離をR、刻み幅をΔRとする。また、ここでは矩形枠状に区分けする場合について説明するが、矩形枠状に区分けする代わりに円環状に区分けしてもよい。
集束領域判定部1003では、R〜(R−ΔR)の範囲内の区画群1101(図11(a)の左端に示す代表ベクトル算出対象領域800内のハッチング領域)に含まれる対応ベクトルを抽出する。更に、集束領域判定部1003では、(R−ΔR)〜(R−ΔR×2)の範囲内の区画群1102(図11(a)の中央に示す代表ベクトル算出対象領域800内のハッチング領域)に含まれる対応ベクトルを抽出する。
そして、集束領域判定部1003では、抽出した対応ベクトルのうち、区画群1101の対応ベクトルと区画群1102の対応ベクトルとの間で隣接する対応ベクトル同士の差を算出し、差分ベクトルを求める。つまり、ここでいう差分ベクトルは、比較元CT画像と比較先CT画像との間での特徴点の位置の変化の差を示すものということができる。図11(a)の右端に示す代表ベクトル算出対象領域800内の各ベクトルは、区画群1101の対応ベクトルと区画群1102の対応ベクトルとに基づいて算出した差分ベクトルの一例を示している。
集束領域判定部1003では、このようにして求めた差分ベクトルが所定の閾値より大きい場合、当該差分ベクトルの方向を判定し、当該差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向を向いていた場合には、集束領域が含まれていると判定する。また、集束領域が含まれているとの判定に用いられた対応ベクトルが存在する2つの区画群の境界位置を、正常領域と集束領域との境界位置と判定する。
図11(a)の例では、R〜(R−ΔR)の範囲内の区画群1101と、(R−ΔR)〜(R−ΔR×2)の範囲内の区画群1102との境界位置を、正常領域と集束領域との境界位置と判定する。なお、集束領域判定部1003では、集束領域がないと判定した場合には、更に内側の区画群より対応ベクトルを抽出し、同様の処理を行う。
図11(b)は、代表ベクトル算出対象領域800の中心から辺縁までを、矩形枠状に所定の刻み幅で区分けし、各区画群の一部を用いて、集束領域702が含まれているか否かを判定する様子を示している。
図11(b)の例では、集束領域判定部1003は、R〜(R−ΔR)の範囲内の区画群1101の一部(つまり、図11(b)の左端に示す代表ベクトル算出対象領域800内のハッチング領域)に含まれる対応ベクトルを抽出する。更に、集束領域判定部1003は、(R−ΔR)〜(R−ΔR×2)の範囲内の区画群1102の一部(つまり、図11(b)の中央に示す代表ベクトル算出対象領域800内のハッチング領域)に含まれる対応ベクトルを抽出する。
そして、集束領域判定部1003は、抽出した対応ベクトルのうち、区画群1101の対応ベクトルと区画群1102の対応ベクトルとの間で隣接する対応ベクトル同士の差を算出し、差分ベクトルを求める。図11(b)の右端に示す代表ベクトル算出対象領域800内の各ベクトルは、差分ベクトルを示している。
集束領域判定部1003では、このようにして求めた差分ベクトルが所定の閾値より大きい場合、当該差分ベクトルの方向を判定し、当該差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向を向いていた場合には、集束領域が含まれていると判定する。また、集束領域が含まれているとの判定に用いられた対応ベクトルが存在する2つの区画群の境界位置を、正常領域と集束領域との境界位置と判定する。
なお、図11(a)、(b)の説明から明らかなように、集束領域判定部1003では、はじめに、代表ベクトル算出対象領域800の最も外側に位置する区画群1101より抽出した対応ベクトルを用いて差分ベクトルを求める。これは、当該対応ベクトルが、腫瘍の変化に基づく位置の変動の影響を受けていない、呼吸・心拍に基づく位置の変動に伴う対応ベクトルと推定できるからである。
また、集束領域判定部1003では隣接する対応ベクトル間の差を算出する。これは、隣接する対応ベクトル間では、呼吸・心拍に基づく位置の変動に大きな差異はなく、差を算出することで、呼吸・心拍に基づく位置の変動の影響を差し引くことができるからである。つまり、隣接する対応ベクトル間の差を算出することで求められる差分ベクトル(ただし、所定の閾値以上の大きさを有する差分ベクトル)は、腫瘍の変化に基づく位置の変動分の対応ベクトルを表しているということができる。
なお、集束領域判定部1003が差分ベクトルの方向を判定するのは、集束領域における対応ベクトルは、腫瘍中心点Oの方向を向くという特性があるため、腫瘍の変化に基づく位置の変動であることを識別するのに有効だからである。
次に、代表ベクトル算出部1004の機能の具体例について説明する。図12は、集束領域が含まれていると判定された場合の代表ベクトルの算出方法を示す図である。
代表ベクトル算出部1004では、代表ベクトル算出対象領域800に集束領域702が含まれている場合、代表ベクトル算出対象領域800において算出された各対応ベクトルのうち、集束領域702内に存在する対応ベクトルを除いて、代表ベクトルを求める。図12(a)の例では、代表ベクトル算出対象領域800において15個の対応ベクトル(黒矢印)が算出されており、このうち、集束領域702内に存在する4個の対応ベクトルを除く、11個の対応ベクトルを用いて代表ベクトルを算出する。
代表ベクトル1200は、11個の対応ベクトルを用いて算出した代表ベクトルを示している。このように、集束領域702内に存在する4個の対応ベクトルを除くことで、非剛体変形の影響を排除して代表ベクトルを求めることができる。
図12(b)は、代表ベクトル1200を用いて平行移動による変形処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図12(b)に示すように、第2のレジストレーション部142では、比較元CT画像の所定領域401に対応する比較先CT画像中の領域801を、代表ベクトル1200に応じて平行移動させることで対応領域402を求めることができる。更に、比較先CT画像より対応領域402の画像を抽出することで、第2のレジストレーション部142では、局所的位置合わせが行われた画像を抽出することができる。
一方、図13は、集束領域が含まれていないと判定された場合の代表ベクトルの算出方法を示す図である。代表ベクトル算出部1004では、代表ベクトル算出対象領域800に集束領域702が含まれていない場合、代表ベクトル算出対象領域800において算出された各対応ベクトルを用いて代表ベクトルを求める。ただし、腫瘍領域703内に含まれる対応ベクトルは除くものとする。なお、腫瘍領域703内においては、特徴点の対応点が存在しないため、対応ベクトルは存在しないことから、腫瘍領域703内に存在する対応ベクトルを除くか否かに関わらず、算出される代表ベクトルは同じとなる。
図13(a)の例では、代表ベクトル算出対象領域800において15個の対応ベクトル(黒矢印)が算出されており、これらを用いて代表ベクトルを算出する。代表ベクトル1300は、15個の対応ベクトルを用いて算出した代表ベクトルを示している。このように、代表ベクトル算出対象領域800内に集束領域702が含まれていない場合、非剛体変形の影響を受けることはないため、全ての対応ベクトルを用いて代表ベクトルを算出することができる。
図13(b)は、代表ベクトル1300を用いて平行移動による変形処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図13(b)に示すように、第2のレジストレーション部142では、比較元CT画像の所定領域401に対応する比較先CT画像中の領域801を、代表ベクトル1300に応じて平行移動させることで対応領域402を求めることができる。更に、比較先CT画像より対応領域402の画像を抽出することで、第2のレジストレーション部142では、局所的位置合わせが行われた画像を抽出することができる。
次に、第2のレジストレーション部142による局所的位置合わせ処理の流れについて説明する。図14は、第2のレジストレーション部による局所的位置合わせ処理のフローチャートである。
ステップS1401において、領域識別部1001は、比較元CT画像において医療従事者により指定された腫瘍部分Fの位置を中心とする所定領域401を識別する。
ステップS1402において、対応ベクトル算出部1002は、領域識別部1001により識別された比較元CT画像の所定領域401より、特徴点を抽出する。また、抽出した各特徴点に対応する比較先CT画像中の各特徴点を検索する。
ステップS1403において、集束領域判定部1003は、比較先CT画像より検索された各特徴点を含む領域を代表ベクトル算出対象領域800として抽出する。
ステップS1404において、対応ベクトル算出部1002は、比較元CT画像より抽出した各特徴点の位置と、該特徴点に対応する比較先CT画像中の各特徴点の位置との差に基づいて、対応ベクトルを算出する。
ステップS1405において、集束領域判定部1003は、算出された対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する。また、集束領域702が含まれると判定した場合、集束領域判定部1003では、正常領域701と集束領域702との境界位置を算出する。なお、ステップS1405の集束領域判定処理の詳細なフローチャートは後述する。
ステップS1406において、代表ベクトル算出部1004は、集束領域判定処理(ステップS1405)の結果に基づいて、集束領域702の有無を判断する。ステップS1406において集束領域702が含まれていないと判断した場合には、ステップS1407に進む。ステップS1407において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800に含まれる腫瘍領域703をマスクする。
一方、ステップS1406において、集束領域702が含まれていると判断した場合には、ステップS1408に進む。ステップS1408において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800に含まれている集束領域702(腫瘍領域703も含む)をマスクする。
ステップS1409において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800に存在する対応ベクトルのうち、マスク領域以外の領域の対応ベクトルを用いて代表ベクトルを算出する。
ステップS1410において、位置合わせ部1005は、算出された代表ベクトルを用いて比較先CT画像より、所定領域401に対応する対応領域402の画像を抽出する。これにより、局所的位置合わせが行われた画像を抽出することができる。
次に、集束領域判定処理(ステップS1405)の詳細について説明する。図15は、集束領域判定処理の第1のフローチャートである。
ステップS1501において、集束領域判定部1003は、代表ベクトル算出対象領域800の中心(腫瘍中心点O)から辺縁までを、円環状または矩形枠状に刻み幅ΔRで区分けする。ステップS1502において、集束領域判定部1003は、カウンタiに1を代入する。
ステップS1503において、集束領域判定部1003は、(R−ΔR×(i−1))〜(R−ΔR×i)の範囲の区画群と、当該区画群の内側(腫瘍に近い側)に位置する(R−ΔR×i)〜(R−ΔR×(i+1))の範囲の区画群とを抽出する。
ステップS1504において、集束領域判定部1003は、抽出した各区画群に存在する対応ベクトルのうち、隣接する対応ベクトルの差を算出し、差分ベクトルを求める。
ステップS1505において、集束領域判定部1003は、差分ベクトルの大きさが閾値以内であるか否かを判定する。ステップS1505において閾値以内であると判定した場合には、ステップS1506に進み、カウンタiをインクリメントする。
ステップS1507において、集束領域判定部1003は、i≧R/ΔRが成立するか否かを判定する。成立しないと判定した場合、集束領域判定部1003では、更に内側(腫瘍に近い側)に区画群があると判定し、ステップS1503に戻る。
一方、ステップS1507において、i≧R/ΔRが成立すると判定した場合、集束領域判定部1003では、全ての区画群について差分ベクトルを算出したと判定し、ステップS1508に進む。
ステップS1508において、集束領域判定部1003は、代表ベクトル算出対象領域800に集束領域702が含まれていないと判定し、集束領域判定処理を終了する。
一方、ステップS1505において差分ベクトルの大きさが閾値より大きいと判定した場合には、ステップS1509に進む。ステップS1509において、集束領域判定部1003は、差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向を向いているか否かを判定する。
ステップS1509において、中心方向を向いていないと判定した場合には、ステップS1506に進む。一方、ステップS1509において、中心方向を向いていると判定した場合には、ステップS1510に進む。
ステップS1510において、集束領域判定部1003は、代表ベクトル算出対象領域800に集束領域702が含まれていると判定し、ステップS1511に進む。ステップS1511において、集束領域判定部1003は、代表ベクトル算出対象領域800の中心からの距離が(R−ΔR×i)の位置を正常領域701と集束領域702との境界位置と判定し、集束領域判定処理を終了する。
このように、本実施形態における第2のレジストレーション部142では、差分ベクトルの大きさが閾値以内であり、正常領域701であると判定された場合には、それぞれの区画の対応ベクトルを用いて代表ベクトルを算出する。また、差分ベクトルの大きさが閾値より大きく、かつ中心方向を向いていることで集束領域702が含まれていると判定された場合には、集束領域702の区画と比べて腫瘍より遠い区画の対応ベクトルを用いて代表ベクトルを算出する。つまり、腫瘍部分から閾値以上離れた箇所の特徴点の対応ベクトルを用いて代表ベクトルを算出する。これにより、非剛体変形の影響を排除して代表ベクトルを算出することができるようになり、局所的位置合わせの精度を上げることができる。
次に、非剛体変形の影響を排除した代表ベクトルを用いて局所的位置合わせを行うことで得られた画像について説明する。図16は、非剛体変形の影響を排除した代表ベクトルを用いて局所的位置合わせを行うことで得られた画像を示す図である。
なお、図16の例では、非剛体変形の影響を排除した代表ベクトル1200を用いて局所的位置合わせを行うことで得られた対応領域402の画像1600と、比較元CT画像の所定領域401の画像600とを重ねて示している。
図16に示すように、画像1600に含まれる血管1601〜1603及び腫瘍部分F'の位置は、画像600に含まれる血管601〜603及び腫瘍部分Fの位置と概ね同じである。つまり、画像1600の場合、心拍・呼吸に基づく位置の変動が打ち消されている。一方で、血管1602、1603のうち、腫瘍部分F'の周辺に位置する血管は、画像600に含まれる血管601〜603のうち、腫瘍部分Fの周辺に位置する血管に対して、位置がずれている。つまり、画像1600の場合、腫瘍の変化に基づく位置の変動の影響が残されている。
以上の説明から明らかなように、本実施形態では、比較元CT画像において指定された腫瘍部分から閾値以上離れた箇所の特徴点の対応ベクトル(集束領域の区画と比べて腫瘍より遠い区画の対応ベクトル)を用いて平行移動による変形処理を行う。
この結果、心拍や呼吸による位置の変動を打ち消す一方で、腫瘍で生じた集束に伴う位置の変動の影響を残すことができる。
[第2の実施形態]
上記第1の実施形態では、代表ベクトル算出対象領域800の中心から辺縁までを、円環状または矩形枠状に刻み幅ΔRで区分けした。
これに対して、第2の実施形態では、代表ベクトル算出対象領域800の中心から辺縁までを、扇状に所定の刻み角度で区分けする。以下、第2の実施形態の詳細について、第1の実施形態との相違点を中心に説明する。
図17は、集束領域判定部の処理内容を示す第2の図である。図17は、代表ベクトル算出対象領域800の中心から辺縁までを、扇状に所定の刻み角度で区分けし、各区画群を用いて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する様子を示している。
図17の例では、所定の刻み角度をΔθとしている。図17(a)において、集束領域判定部1003では、θ=Δθの範囲内の区画群1701(つまり、図17(a)に示す代表ベクトル算出対象領域800内のハッチング領域)に存在する対応ベクトルを抽出する。更に、集束領域判定部1003では、抽出した対応ベクトルについて、隣接する対応ベクトル間の差を算出し、差分ベクトルを求める。
同様に、図17(b)において、集束領域判定部1003では、θ=2×Δθの範囲内の区画群1702(つまり、図17(b)に示す代表ベクトル算出対象領域800内のハッチング領域)に存在する対応ベクトルを抽出する。更に、集束領域判定部1003では、抽出した対応ベクトルのうち、隣接する対応ベクトル間の差を算出し、差分ベクトルを求める。
以下、集束領域判定部1003では、代表ベクトル算出対象領域800に含まれるすべての区画群において対応ベクトルを抽出し、差分ベクトルを求める。
更に、集束領域判定部1003では、各区画群において求めた差分ベクトルが所定の閾値より大きい場合、当該差分ベクトルの方向を判定する。そして、差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向を向いている場合には、代表ベクトル算出対象領域800に集束領域が含まれていると判定する。また、集束領域判定部1003では、集束領域が含まれているとの判定に用いられた差分ベクトルの位置を結んだ線または面を、正常領域と集束領域との境界位置と判定する。
図18は、集束領域判定処理の第2のフローチャートである。ステップS1801において、集束領域判定部1003は、代表ベクトル算出対象領域800の中心(腫瘍中心点O)から辺縁までを、扇状に刻み角度Δθで区分けする。ステップS1802において、集束領域判定部1003は、カウンタiに1を代入する。
ステップS1803において、集束領域判定部1003は、(Δθ×(i−1))〜(Δθ×i)の範囲を区画群として抽出する。
ステップS1804において、集束領域判定部1003は、抽出した区画群に存在する対応ベクトルについて、隣接する対応ベクトルの差を算出し、差分ベクトルを求める。
ステップS1805において、集束領域判定部1003は、差分ベクトルの大きさが閾値以内であるか否かを判定する。ステップS1805において閾値以内であると判定した場合には、ステップS1808に進む。一方、ステップS1805において閾値より大きいと判定した場合には、ステップS1806に進む。
ステップS1806において、集束領域判定部1003は、差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向を向いているか否かを判定する。
ステップS1806において、中心方向を向いていると判定した場合には、ステップS1807に進み、当該差分ベクトルを保持した上で、ステップS1808に進む。一方、ステップS1806において、中心方向を向いていないと判定した場合には、直接、ステップS1808に進む。
ステップS1808において、集束領域判定部1003は、カウンタiをインクリメントし、ステップS1809において、i≧2n/Δθが成立するか否かを判定する。ステップS1809において、成立しないと判定した場合、集束領域判定部1003では、差分ベクトルを算出していない区画群が残っていると判定し、ステップS1803に戻る。
一方、ステップS1809において、i≧2n/Δθが成立すると判定した場合、集束領域判定部1003では、全ての区画群について差分ベクトルを算出したと判定し、ステップS1810に進む。
ステップS1810において、集束領域判定部1003は、ステップS1807において保持された差分ベクトルが所定数以上あるか否かを判定する。
ステップS1810において、保持されている差分ベクトルが所定数以上ないと判定した場合には、ステップS1811に進み、代表ベクトル算出対象領域800に集束領域702が含まれていないと判定し、集束領域判定処理を終了する。
一方、ステップS1810において、保持されている差分ベクトルが所定数以上あると判定した場合には、ステップS1812に進み、代表ベクトル算出対象領域800に集束領域702が含まれていると判定する。
ステップS1813において、集束領域判定部1003は、保持されている差分ベクトルの位置に基づいて、正常領域と集束領域との境界位置を判定し、集束領域判定処理を終了する。
以上の説明から明らかなように、本実施形態に係る画像表示装置120では、正常領域と集束領域との境界位置を判定するにあたり、代表ベクトル算出対象領域を扇状に所定の刻み角度で区分けする。これにより、上記第1の実施形態と同様に集束領域の有無を判定することが可能となり、同様の効果を得ることができる。
[第3の実施形態]
上記第1の実施形態と第2の実施形態とでは、正常領域と集束領域との境界位置を判定するにあたり、代表ベクトル算出対象領域800をそれぞれ異なる方法で区分けした。これに対して、第3の実施形態では、医療従事者により指定された腫瘍部分Fの位置に応じて、いずれの方法で区分けするかを切り替えるようにする。
図19は、集束領域の一例を示す図である。このうち、図19(a)は、腫瘍の周囲に肺内の区画や肺壁などの制約組織がない場合を示している。図19(a)に示すように、腫瘍周辺の組織が均質である場合、集束領域1901は球形となる。
一方、図19(b)は、腫瘍の周囲に肺内の区画や肺壁などの制約組織1912がある場合を示している。図19(b)に示すように、腫瘍中心点Oから、制約組織1912までの距離が所定の閾値以下である場合、集束領域1911は不定形な形状となる。
球形の集束領域1901に対しては、第1の実施形態において説明した集束領域判定処理を実行することが適している。一方、不定形の集束領域1911に対しては、第2の実施形態において説明した集束領域判定処理を実行することが適している。そこで、本実施形態に係る集束領域判定部1003では、腫瘍中心点Oから、制約組織1912までの距離に応じて、実行する集束領域判定処理を切り替える。
図20は、集束領域判定処理の第3のフローチャートである。ステップS2001において、集束領域判定部1003は、集束領域に影響を及ぼす、肺内の区画や肺壁などの制約組織1912の位置を検出する。
ステップS2002において、集束領域判定部1003は、腫瘍中心点Oから、制約組織1912までの最短距離を算出する。更に、集束領域判定部1003は、算出した最短距離が、所定の閾値以下であるか否かを判定する。
ステップS2002において、所定の閾値以下ではないと判定した場合には、ステップS2003に進む。ステップS2003において集束領域判定部1003は、図15において説明した集束領域判定処理を実行する。
一方、ステップS2002において、所定の閾値以下であると判定した場合には、ステップS2004に進む。ステップS2004において集束領域判定部1003は、図18において説明した集束領域判定処理を実行する。
以上の説明から明らかなように、本実施形態に係る画像表示装置120では、腫瘍中心点から、肺内の区画や肺壁などの制約組織までの距離に応じて、実行する集束領域判定処理を切り替える。
これにより、本実施形態に係る画像表示装置120によれば、正常領域と集束領域との境界位置を、より精度よく判定することができる。
[第4の実施形態]
上記第1乃至第3の実施形態では、対応ベクトルを用いて代表ベクトルを算出するにあたり、平均処理を行うこととしたが、それ以外の処理を行ってもよい。例えば、代表ベクトル算出対象領域800の中心(腫瘍中心点O)からの距離が近い対応ベクトルの重みを大きくし、距離が遠い対応ベクトルの重みを小さくして平均処理を行う重み付け平均処理を行ってもよい。
これにより、単に腫瘍より遠い位置の対応ベクトルを用いて代表ベクトルを算出した場合と比べて、局所的な位置合わせの精度を上げることができる。
また、上記第1乃至第3の実施形態では、CT画像を表示する場合について説明したが、CT画像以外の医療画像(例えば、MRI(Magnetic resonance imaging)画像)を表示する場合に適用してもよい。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
腫瘍部分の領域の指定を受け付ける指定手段と、
画像中の特徴点のうち、指定を受け付けた領域から所定の閾値以上離れた箇所にある特徴点の位置と、他方の画像における当該特徴点に対応する特徴点の位置とを特定する特定手段と、
特定された前記特徴点の位置の差を用いて画像を変形する変形手段と
を有する画像表示装置。
(付記2)
前記変形手段は、
前記画像を複数の区画に区分けして、ある区画の画像間での特徴点の位置の変化と、その区画よりも腫瘍に近い区画における画像間での特徴点の位置の変化とを比べて、腫瘍の方向への特徴点の位置の変化の差が所定の閾値以内の区画は、その区画の特徴点の位置の変化を用いて画像を変形し、
特徴点の位置の変化の差が所定の閾値より大きい区画からより腫瘍に近い区画は、それらの区画と比べて腫瘍より遠い区画で求めた画像間での特徴点の位置の変化を用いて画像を変形することを特徴とする付記1に記載の画像表示装置。
(付記3)
前記区画は、前記画像のうちの変形する範囲の辺縁と腫瘍との間を円環状または矩形枠状に所定の刻み幅で区分けして生成することを特徴とする付記2に記載の画像表示装置。
(付記4)
前記区画は、腫瘍から肺壁までの距離が所定の閾値より大きい場合に生成されることを特徴とする付記3に記載の画像表示装置。
(付記5)
前記区画は、前記画像のうちの変形する範囲を、腫瘍を中心として扇状に所定の刻み角度で区分けして生成することを特徴とする付記2に記載の画像表示装置。
(付記6)
前記区画は、腫瘍から肺壁までの距離が所定の閾値以下である場合に生成されることを特徴とする付記5に記載の画像表示装置。
(付記7)
前記腫瘍の方向への特徴点の位置の変化の差が所定の閾値以内か否かを判定する判定手段を更に有し、
前記判定手段は、前記所定の閾値より大きい区画からより腫瘍に近い区画を、腫瘍により集束が生じている区画と判定することを特徴とする付記2に記載の画像表示装置。
(付記8)
前記変形手段は、
前記判定手段により集束が生じていると判定された区画をマスクし、マスクした区画以外の区画で求めた画像間での特徴点の位置の変化を用いて画像を変形することを特徴とする付記7に記載の画像表示装置。
(付記9)
腫瘍部分の領域の指定を受け付け、
画像中の特徴点のうち、指定を受け付けた領域から所定の閾値以上離れた箇所にある特徴点の位置と、他方の画像における当該特徴点に対応する特徴点の位置とを特定し、
特定された前記特徴点の位置の差を用いて画像を変形する、
処理を、コンピュータに実行させることを特徴とする画像表示プログラム。
(付記10)
コンピュータが、
腫瘍部分の領域の指定を受け付け、
画像中の特徴点のうち、指定を受け付けた領域から所定の閾値以上離れた箇所にある特徴点の位置と、他方の画像における当該特徴点に対応する特徴点の位置とを特定し、
特定された前記特徴点の位置の差を用いて画像を変形する、
ことを特徴とする画像表示方法。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
100 :CT画像撮影システム
110 :CT装置
120 :画像表示装置
130 :画像DB
140 :診断支援部
141 :第1のレジストレーション部
142 :第2のレジストレーション部
143 :表示制御部
300 :並列表示画面
401 :所定領域
402 :対応領域
701 :正常領域
702 :集束領域
703 :腫瘍領域
810 :代表ベクトル
1001 :領域識別部
1002 :対応ベクトル算出部
1003 :集束領域判定部
1004 :代表ベクトル算出部
1005 :位置合わせ部
1200 :代表ベクトル
1300 :代表ベクトル

Claims (4)

  1. 腫瘍部分の領域の指定を受け付ける指定手段と、
    画像中の特徴点のうち、指定を受け付けた領域から所定の閾値以上離れた箇所にある特徴点の位置と、他方の画像における当該特徴点に対応する特徴点の位置とを特定する特定手段と、
    特定された前記特徴点の位置の差を用いて画像を変形する変形手段と
    を有することを特徴とする画像表示装置。
  2. 前記変形手段は、
    前記画像を複数の区画に区分けして、ある区画の画像間での特徴点の位置の変化と、その区画よりも腫瘍に近い区画における画像間での特徴点の位置の変化とを比べて、腫瘍の方向への特徴点の位置の変化の差が所定の閾値以内の区画は、その区画の特徴点の位置の変化を用いて画像を変形し、
    特徴点の位置の変化の差が所定の閾値より大きい区画からより腫瘍に近い区画は、それらの区画と比べて腫瘍より遠い区画で求めた画像間での特徴点の位置の変化を用いて画像を変形することを特徴とする請求項1に記載の画像表示装置。
  3. 腫瘍部分の領域の指定を受け付け、
    画像中の特徴点のうち、指定を受け付けた領域から所定の閾値以上離れた箇所にある特徴点の位置と、他方の画像における当該特徴点に対応する特徴点の位置とを特定し、
    特定された前記特徴点の位置の差を用いて画像を変形する、
    処理を、コンピュータに実行させることを特徴とする画像表示プログラム。
  4. コンピュータが、
    腫瘍部分の領域の指定を受け付け、
    画像中の特徴点のうち、指定を受け付けた領域から所定の閾値以上離れた箇所にある特徴点の位置と、他方の画像における当該特徴点に対応する特徴点の位置とを特定し、
    特定された前記特徴点の位置の差を用いて画像を変形する、
    ことを特徴とする画像表示方法。
JP2015021388A 2015-02-05 2015-02-05 画像表示装置、画像表示プログラム及び画像表示方法 Active JP6641696B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015021388A JP6641696B2 (ja) 2015-02-05 2015-02-05 画像表示装置、画像表示プログラム及び画像表示方法
US15/002,475 US9846939B2 (en) 2015-02-05 2016-01-21 Image display apparatus and image display method
CN201610073021.5A CN105872454B (zh) 2015-02-05 2016-02-02 图像显示设备和图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015021388A JP6641696B2 (ja) 2015-02-05 2015-02-05 画像表示装置、画像表示プログラム及び画像表示方法

Publications (2)

Publication Number Publication Date
JP2016140714A true JP2016140714A (ja) 2016-08-08
JP6641696B2 JP6641696B2 (ja) 2020-02-05

Family

ID=56566894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015021388A Active JP6641696B2 (ja) 2015-02-05 2015-02-05 画像表示装置、画像表示プログラム及び画像表示方法

Country Status (3)

Country Link
US (1) US9846939B2 (ja)
JP (1) JP6641696B2 (ja)
CN (1) CN105872454B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6106259B2 (ja) * 2012-03-21 2017-03-29 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法
US10500418B2 (en) * 2017-01-04 2019-12-10 Varian Medical Systems International Ag System and method for patient-specific motion management for treatment
CN108078581B (zh) * 2017-12-12 2019-02-12 北京青燕祥云科技有限公司 基于卷积神经网络的肺癌良恶性判别系统和实现装置
CN110232686A (zh) * 2019-06-19 2019-09-13 东软医疗系统股份有限公司 肺结节随访图像的获取方法、装置、ct设备和存储介质
JP2021078824A (ja) * 2019-11-20 2021-05-27 キヤノンメディカルシステムズ株式会社 X線診断装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04180370A (ja) * 1990-11-14 1992-06-26 Matsushita Electric Ind Co Ltd 画像の動きベクトル検出装置及び揺れ補正装置
JPH0522645A (ja) * 1991-07-17 1993-01-29 Matsushita Electric Ind Co Ltd 動き検出回路
JP2008032883A (ja) * 2006-07-27 2008-02-14 Eastman Kodak Co 画像処理装置
JP2010099193A (ja) * 2008-10-22 2010-05-06 Toshiba Corp 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
WO2011099244A1 (ja) * 2010-02-10 2011-08-18 パナソニック株式会社 画像処理装置および画像処理方法
JP2013039360A (ja) * 2011-07-20 2013-02-28 Toshiba Corp 画像処理システム、装置、方法及び医用画像診断装置
US9554117B2 (en) * 2013-08-13 2017-01-24 Korea Institute Of Science And Technology System and method for non-invasive patient-image registration

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
CN1326092C (zh) * 2005-10-27 2007-07-11 上海交通大学 手术导航中基于基准面膜的多模式医学图像配准方法
CN100552716C (zh) * 2007-04-12 2009-10-21 上海交通大学 全局异常信号环境下基于联合显著图的鲁棒图像配准方法
US8675944B2 (en) * 2012-01-12 2014-03-18 Kabushiki Kaisha Toshiba Method of registering image data
US20140032597A1 (en) * 2012-07-26 2014-01-30 Salesforce.Com, Inc. Computer implemented methods and apparatus for processing communications in a service environment
WO2014196069A1 (ja) * 2013-06-06 2014-12-11 株式会社日立製作所 画像処理装置および画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04180370A (ja) * 1990-11-14 1992-06-26 Matsushita Electric Ind Co Ltd 画像の動きベクトル検出装置及び揺れ補正装置
JPH0522645A (ja) * 1991-07-17 1993-01-29 Matsushita Electric Ind Co Ltd 動き検出回路
JP2008032883A (ja) * 2006-07-27 2008-02-14 Eastman Kodak Co 画像処理装置
JP2010099193A (ja) * 2008-10-22 2010-05-06 Toshiba Corp 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
WO2011099244A1 (ja) * 2010-02-10 2011-08-18 パナソニック株式会社 画像処理装置および画像処理方法
JP2013039360A (ja) * 2011-07-20 2013-02-28 Toshiba Corp 画像処理システム、装置、方法及び医用画像診断装置
US9554117B2 (en) * 2013-08-13 2017-01-24 Korea Institute Of Science And Technology System and method for non-invasive patient-image registration

Also Published As

Publication number Publication date
CN105872454A (zh) 2016-08-17
CN105872454B (zh) 2019-03-15
JP6641696B2 (ja) 2020-02-05
US20160232668A1 (en) 2016-08-11
US9846939B2 (en) 2017-12-19

Similar Documents

Publication Publication Date Title
JP5723541B2 (ja) 医用画像診断支援装置およびその作動方法、並びにプログラム
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
JP5684382B2 (ja) 画像診断支援装置、及び方法
US9704294B2 (en) Image processing apparatus and image processing method
JP6641696B2 (ja) 画像表示装置、画像表示プログラム及び画像表示方法
US20180333112A1 (en) System for tracking an ultrasonic probe in a body part
WO2013093761A2 (en) Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope
US10475184B2 (en) Medical image processing apparatus and method
US10588581B2 (en) Cross-sectional image generating apparatus, cross-sectional image generating method, and recording medium
US20140088416A1 (en) Device, method and program for searching for the shortest path in a tubular structure
JP2016539701A (ja) 三次元(3d)プレスキャンに基づく体積画像データ処理
US8068665B2 (en) 3D-image processing apparatus, 3D-image processing method, storage medium, and program
CN110301883B (zh) 用于导航管状网络的基于图像的向导
US11127153B2 (en) Radiation imaging device, image processing method, and image processing program
JP4921253B2 (ja) 画像処理装置および画像処理プログラム
JP2017131634A (ja) 撮影された被検体内の複数の低コントラストの物体の、向上した視覚化を行うシステムおよび方法
US10039514B2 (en) Computer readable storage medium, apparatus, and method for image processing
CN108430376B (zh) 提供投影数据集
JP2007068554A (ja) 位置合せ装置、位置合せ方法およびそのプログラム
US11257219B2 (en) Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
JP6642048B2 (ja) 医療画像表示システム、医療画像表示プログラム及び医療画像表示方法
Schäfer et al. Limited angle C-arm tomography and segmentation for guidance of atrial fibrillation ablation procedures
JP4567395B2 (ja) 血管撮影画像処理装置及び血管撮影画像処理方法及び血管撮影画像処理プログラム
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
JP6878035B2 (ja) 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R150 Certificate of patent or registration of utility model

Ref document number: 6641696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150